❶ 以道大數據課程體系都講什麼
大數據技術在如今應用非常廣泛，許多想入行學習大數據培訓的童鞋不知從何學起，從哪兒開始學首先要根據你的基本情況而定，如果你是零基礎的也不需要擔心，先從基礎開始學起就好了，接下來學習基礎java開始、數據結構、關系型資料庫、linux系統操作，夯實基礎之後，再進入大數據的學習，例如：hadoop離線分析、Storm實時計算、spark內存計算的學習，以道教育大數據課程體系可以如下：
第一階段 WEB 開發基礎
HTML基礎
1、Html基本介紹
2、HTML語法規范
3、基本標簽介紹
4、HTML編輯器/文本文檔/WebStrom/elipse
5、HTML元素和屬性
6、基本的HTML元素
6.1 標題
6.2 段落
6.3 樣式和style屬性
6.3 鏈接 a
6.4 圖像 img
6.5 表格 table
6.6 列表 ul/ol/dl
7、 HTML注釋
8、表單介紹
9、Table標簽
10、DIV布局介紹
11、HTML列表詳解
HTML布局和Bootstrap
1、 HTML塊元素（block）和行內元素(inline)
2、使用div實現網頁布局
3、響應式WEB設計（Responsive Web Design）
4、使用bootstrap實現響應式布局
HTML表單元素
1、HTML表單 form
2、HTML表單元素
3、 HTML input的類型 type
4、 Html input的屬性
CSS基礎
1、CSS簡介及基本語法
2、在HTML文檔中使用CSS
3、CSS樣式
4、CSS選擇器
5、盒子模型
6、布局及定位
CSS高級/CSS3
1、尺寸和對齊
2、分類（clear/cursor/display/float/position/visibility）
3、導航欄
4、圖片庫
5、圖片透明
6、媒介類型 @media
7、CSS3
8、CSS3動畫效果
JavaScript基礎
1、JavaScript簡介
2、基本語法規則
3、在HTML文檔中使用JS
4、JS變數
5、JS數據類型
6、JS函數
7、JS運算符
8、流程式控制制
9、JS錯誤和調試
JavaScript對象和作用域
1、數字 Number
2、字元串String
3、日期 Date
4、數組
5、數學 Math
6、DOM對象和事件
7、BOM對象
8、Window對象
9、作用域和作用域鏈
10、JSON
Javascript庫
1、Jquery
2、Prototype
3、Ext Js
Jquery
1、Jquery基本語法
2、Jquery選擇器
3、Jquery事件
4、Jquery選擇器
5、Jquery效果和動畫
6、使用Jquery操作HTML和DOM
7、Jquery遍歷
8、Jquery封裝函數
9、Jquery案例
表單驗證和Jquery Validate
1、用Js對HTML表單進行驗證
2、Jquery Validata基本用法
3、默認校驗規則和提示信息
4、debug和ignore
5、更改錯誤信息顯示位置和樣式
6、全部校驗通過後的執行函數
7、修改驗證觸發方式
8、非同步驗證
9、自定義校驗方法
10、radio 和 checkbox、select 的驗證
Java基礎
1、關於Java
2、Java運行機制
3、第一個Java程序，注釋
4、Javac,Java,Javadoc等命令
5、標識符與關鍵字
6、變數的聲明，初始化與應用
7、變數的作用域
8、變數重名
9、基本數據類型
10、類型轉換與類型提升
11、各種數據類型使用細節
12、轉義序列
13、各種運算符的使用
流程式控制制
1、選擇控制語句if-else
2、選擇控制語句switch-case
3、循環控制語句while
4、循環控制語句do-while
5、循環控制語句for與增強型for
6、break，continue，return
7、循環標簽
8、數組的聲明與初始化
9、數組內存空間分配
10、棧與堆內存
11、二維（多維）數組
12、Arrays類的相關方法
13、main方法命令行參數
面向對象
1、面向對象的基本思想
2、類與對象
3、成員變數與默認值
4、方法的聲明，調用
5、參數傳遞和內存圖
6、方法重載的概念
7、調用原則與重載的優勢
8、構造器聲明與默認構造器
9、構造器重載
10、this關鍵字的使用
11、this調用構造器原則
12、實例變數初始化方式
13、可變參數方法
訪問許可權控制
1、包 package和庫
2、訪問許可權修飾符private/protected/public/包訪問許可權
3、類的訪問許可權
4、抽象類和抽象方法
5、介面和實現
6、解耦
7、Java的多重繼承
8、通過繼承來擴展介面
錯誤和異常處理
1、概念：錯誤和異常
2、基本異常
3、捕獲異常 catch
4、創建自定義異常
5、捕獲所有異常
6、Java標准異常
7、使用finally進行清理
8、異常的限制
9、構造器
10、異常匹配
11、異常使用指南
資料庫基礎（Mysql）
資料庫基礎（MySQL）
JDBC
1、Jdbc基本概念
2、使用Jdbc連接資料庫
3、使用Jdbc進行crud操作
4、使用Jdbc進行多表操作
5、Jdbc驅動類型
6、Jdbc異常和批量處理
7、Jdbc儲存過程
Servlet和JSP
1、Servlet簡介
2、Request對象
3、Response對象
4、轉發和重定向
5、使用Servlet完成Crud
6、Session和Coolie簡介
7、ServletContext和Jsp
8、El和Jstl的使用
Ajax
1、什麼是Ajax
2、XMLHttpRequest對象（XHR）
3、XHR請求
4、XHR響應
5、readystate/onreadystatechange
6、Jquery Ajax
7、JSON
8、案例：對用戶名是否可用進行伺服器端校驗
綜合案例
1、項目開發一般流程介紹
2、模塊化和分層
3、DButils
4、QueryRunner
5、ResultSetHandle
6、案例：用戶登錄/注冊，從前端到後端
第二階段 Java SE
訪問許可權和繼承
1、包的聲明與使用
2、import與import static
3、訪問許可權修飾符
4、類的封裝性
5、static（靜態成員變數）
6、final（修飾變數，方法）
7、靜態成員變數初始化方式
8、類的繼承與成員繼承
9、super的使用
10、調用父類構造器
11、方法的重寫與變數隱藏
12、繼承實現多態和類型轉換
13、instanceof
抽象類與介面
1、抽象類
2、抽象方法
3、繼承抽象類
4、抽象類與多態
5、介面的成員
6、靜態方法與默認方法
7、靜態成員類
8、實例成員類
9、局部類
10、匿名類
11、eclipse的使用與調試
12、內部類對外圍類的訪問關系
13、內部類的命名
Lambda表達式與常用類
1、函數式介面
2、Lambda表達式概念
3、Lambda表達式應用場合
4、使用案例
5、方法引用
6、枚舉類型（編譯器的處理）
7、包裝類型（自動拆箱與封箱）
8、String方法
9、常量池機制
10、String講解
11、StringBuilder講解
12、Math，Date使用
13、Calendars使用
異常處理與泛型
1、異常分類
2、try-catch-finally
3、try-with-resources
4、多重捕獲multi-catch
5、throw與throws
6、自定義異常和優勢
7、泛型背景與優勢
8、參數化類型與原生類型
9、類型推斷
10、參數化類型與數組的差異
11、類型通配符
12、自定義泛型類和類型擦出
13、泛型方法重載與重寫
集合
1 、常用數據結構
2 、Collection介面
3 、List與Set介面
4 、SortedSet與NavigableSet
5 、相關介面的實現類
6 、Comparable與Comparator
7、Queue介面
8 、Deque介面
9 、Map介面
10、NavigableMap
11、相關介面的實現類
12、流操作（聚合操作）
13、Collections類的使用
I/O流與反射
1 、File類的使用
2 、位元組流
3 、字元流
4 、緩存流
5 、轉換流
6 、數據流
7、對象流
8、類載入，鏈接與初始化
9 、ClassLoader的使用
10、Class類的使用
11、通過反射調用構造器
12、安全管理器
網路編程模型與多線程
1、進程與線程
2、創建線程的方式
3、線程的相關方法
4、線程同步
5、線程死鎖
6、線程協作操作
7、計算機網路（IP與埠）
8、TCP協議與UDP協議
9、URL的相關方法
10、訪問網路資源
11、TCP協議通訊
12、UDP協議通訊
13、廣播
SSM-Spring
1.Spring/Spring MVC
2.創建Spring MVC項目
3.Spring MVC執行流程和參數
SSM-Spring.IOC
1.Spring/Spring MVC
2.創建Spring MVC項目
3.Spring MVC執行流程和參數
SSM-Spring.AOP
1.Spring/Spring MVC
2.創建Spring MVC項目
3.Spring MVC執行流程和參數
SSM-Spring.Mybatis
1.MyBatis簡介
2.MyBatis配置文件
3.用MyBatis完成CRUD
4.ResultMap的使用
5.MyBatis關聯查詢
6.動態SQL
7.MyBatis緩沖
8.MyBatis-Generator
Socket編程
1.網路通信和協議
2.關於Socket
3.Java Socket
4.Socket類型
5.Socket函數
6.WebSocket
7.WebSocket/Spring MVC/WebSocket Ajax
IO/非同步
window對象
全局作用域
窗口關系及框架
窗口位置和大小
打開窗口
間歇調用和超時調用（靈活運用）
系統對話框
location對象
navigator對象
screen對象
history對象
NIO/AIO
1.網路編程模型
2.BIO/NIO/AIO
3.同步阻塞
4.同步非阻塞
5.非同步阻塞
6.非同步非阻塞
7.NIO與AIO基本操作
8.高性能IO設計模式
第三階段 Java 主流框架
MyBatis
1.mybatis框架原理分析
2.mybatis框架入門程序編寫
3.mybatis和hibernate的本質區別和應用場景
4.mybatis開發方法
5.SqlMapConfig配置文件講解
6.輸入映射-pojo包裝類型的定義與實現
7.輸出映射-resultType、resultMap
8.動態sql
9.訂單商品數據模型分析
10.高級映射的使用
11.查詢緩存之一級緩存、二級緩存
12.mybatis與spring整合
13. mybatis逆向工程自動生成代碼
Spring/Spring MVC
1. springmvc架構介紹
2. springmvc入門程序
3. spring與mybatis整合
4. springmvc註解開發—商品修改功能分析
5. springmvc註解開發—RequestMapping註解
6. springmvc註解開發—Controller方法返回值
7. springmvc註解開發—springmvc參數綁定過程分析
8. springmvc註解開發—springmvc參數綁定實例講解
9. springmvc與struts2的區別
10. springmvc異常處理
11. springmvc上傳圖片
12. springmvc實現json交互
13. springmvc對RESTful支持
14. springmvc攔截器
第四階段 關系型資料庫/MySQL/NoSQL
SQL基礎
1.SQL及主流產品
2.MySQL的下載與安裝（sinux/windows）
3.MySql的基本配置/配置文件
4.基本的SQL操作 DDL
5.基本的SQL操作 DML
6.基本的SQL操作 DCL
7.MySQL客戶端工具
8.MySQL幫助文檔
MySQL數據類型和運算符
1 數值類型
2 日期時間類型
3 字元串類型
4 CHAR 和 VARCHAR 類型
5 BINARY 和 VARBINARY 類型
6 ENUM 類型
7 SET 類型
8 算術運算符
9 比較運算符
10 邏輯運算符
11 位運算
12 運算符的優先順序
MySQL函數
1 字元串函數
2 數值函數
3 日期和時間函數
4 流程函數
5 其他常用函數
MySQL存儲引擎
1.MySQL支持的存儲引擎及其特性
2.MyISAM
3.InnoDB
4.選擇合適的存儲引擎
選擇合適的數據類型
1 CHAR 與 VARCHAR
2 TEXT 與 BLOB
3 浮點數與定點數
4 日期類型選擇
字元集
1 字元集概述
2 Unicode字元集
3 漢字及一些常見字元集
4 選擇合適的字元集
5 MySQL 支持的字元集
6 MySQL 字元集的設置 .
索引的設計和使用
1.什麼是索引
2.索引的類型
3.索引的數據結構 BTree B+Tree Hash
4.索引的存儲
5.MySQL索引
6.查看索引的使用情況
7.索引設計原則
視圖/存儲過程/函數/觸發器
1. 什麼是視圖
2. 視圖操作
3. 什麼是存儲過程
4. 存儲過程操作
5. 什麼是函數
6. 函數的相關操作
7. 觸發器
事務控制/鎖
1. 什麼是事務
2. 事務控制
3. 分布式事務
4. 鎖/表鎖/行鎖
5. InnoDB 行鎖爭用
6. InnoDB 的行鎖模式及加鎖方法7
7 InnoDB 行鎖實現方式7
8 間隙鎖（Next-Key 鎖）
9 恢復和復制的需要，對 InnoDB 鎖機制的影響
10 InnoDB 在不同隔離級別下的一致性讀及鎖的差異
11 表鎖
12 死鎖
SQL Mode和安全問題
1. 關於SQL Mode
2. MySQL中的SQL Mode
3. SQL Mode和遷移
4. SQL 注入
5. 開發過程中如何避免SQL注入
SQL優化
1.通過 show status 命令了解各種 SQL 的執行頻率
2. 定位執行效率較低的 SQL 語句
3. 通過 EXPLAIN 分析低效 SQL 的執行計劃
4. 確定問題並採取相應的優化措施
5. 索引問題
6.定期分析表和檢查表
7.定期優化表
8.常用 SQL 的優化
MySQL資料庫對象優化
1. 優化表的數據類型
2 散列化
3 逆規范化
4 使用中間表提高統計查詢速度
5. 影響MySQL性能的重要參數
6. 磁碟I/O對MySQL性能的影響
7. 使用連接池
8. 減少MySQL連接次數
9. MySQL負載均衡
MySQL集群
MySQL管理和維護
MemCache
Redis
在Java項目中使用MemCache和Redis
第五階段：操作系統/Linux、雲架構
Linux安裝與配置
1、安裝Linux至硬碟
2、獲取信息和搜索應用程序
3、進階：修復受損的Grub
4、關於超級用戶root
5、依賴發行版本的系統管理工具
6、關於硬體驅動程序
7、進階：配置Grub
系統管理與目錄管理
1、Shell基本命令
2、使用命令行補全和通配符
3、find命令、locate命令
4、查找特定程序：whereis
5、Linux文件系統的架構
6、移動、復制和刪除
7、文件和目錄的許可權
8、文件類型與輸入輸出
9、vmware介紹與安裝使用
10、網路管理、分區掛載
用戶與用戶組管理
1、軟體包管理
2、磁碟管理
3、高級硬碟管理RAID和LVM
4、進階：備份你的工作和系統
5、用戶與用戶組基礎
6、管理、查看、切換用戶
7、/etc/...文件
8、進程管理
9、linux VI編輯器，awk，cut，grep，sed，find，unique等
Shell編程
1、 SHELL變數
2、傳遞參數
3、數組與運算符
4、SHELL的各類命令
5、SHELL流程式控制制
6、SHELL函數
7、SHELL輸入/輸出重定向
8、SHELL文件包含
伺服器配置
1、系統引導
2、管理守護進程
3、通過xinetd啟動SSH服務
4、配置inetd
5、Tomcat安裝與配置
6、MySql安裝與配置
7、部署項目到Linux
第六階段：Hadoop生態系統
Hadoop基礎
1、大數據概論
2、 Google與Hadoop模塊
3、Hadoop生態系統
4、Hadoop常用項目介紹
5、Hadoop環境安裝配置
6、Hadoop安裝模式
7、Hadoop配置文件
HDFS分布式文件系統
1、認識HDFS及其HDFS架構
2、Hadoop的RPC機制
3、HDFS的HA機制
4、HDFS的Federation機制
5、 Hadoop文件系統的訪問
6、JavaAPI介面與維護HDFS
7、HDFS許可權管理
8、hadoop偽分布式
Hadoop文件I/O詳解
1、Hadoop文件的數據結構
2、 HDFS數據完整性
3、文件序列化
4、Hadoop的Writable類型
5、Hadoop支持的壓縮格式
6、Hadoop中編碼器和解碼器
7、 gzip、LZO和Snappy比較
8、HDFS使用shell+Java API
MapRece工作原理
1、MapRece函數式編程概念
2、 MapRece框架結構
3、MapRece運行原理
4、Shuffle階段和Sort階段
5、任務的執行與作業調度器
6、自定義Hadoop調度器
7、 非同步編程模型
8、YARN架構及其工作流程
MapRece編程
1、WordCount案例分析
2、輸入格式與輸出格式
3、壓縮格式與MapRece優化
4、輔助類與Streaming介面
5、MapRece二次排序
6、MapRece中的Join演算法
7、從MySQL讀寫數據
8、Hadoop系統調優
Hive數據倉庫工具
1、Hive工作原理、類型及特點
2、Hive架構及其文件格式
3、Hive操作及Hive復合類型
4、Hive的JOIN詳解
5、Hive優化策略
6、Hive內置操作符與函數
7、Hive用戶自定義函數介面
8、Hive的許可權控制
Hive深入解讀
1 、安裝部署Sqoop
2、Sqoop數據遷移
3、Sqoop使用案例
4、深入了解資料庫導入
5、導出與事務
6、導出與SequenceFile
7、Azkaban執行工作流
Sqoop與Oozie
1 、安裝部署Sqoop
2、Sqoop數據遷移
3、Sqoop使用案例
4、深入了解資料庫導入
5、導出與事務
6、導出與SequenceFile
7、Azkaban執行工作流
Zookeeper詳解
1、Zookeeper簡介
2、Zookeeper的下載和部署
3、Zookeeper的配置與運行
4、Zookeeper的本地模式實例
5、Zookeeper的數據模型
6、Zookeeper命令行操作範例
7、storm在Zookeeper目錄結構
NoSQL、HBase
1、HBase的特點
2、HBase訪問介面
3、HBase存儲結構與格式
4、HBase設計
5、關鍵演算法和流程
6、HBase安裝
7、HBase的SHELL操作
8、HBase集群搭建
第七階段：Spark生態系統
Spark
1.什麼是Spark
2.Spark大數據處理框架
3.Spark的特點與應用場景
4.Spark SQL原理和實踐
5.Spark Streaming原理和實踐
6.GraphX SparkR入門
7.Spark的監控和調優
Spark部署和運行
1.WordCount准備開發環境
2.MapRece編程介面體系結構
3.MapRece通信協議
4.導入Hadoop的JAR文件
5.MapRece代碼的實現
6.打包、部署和運行
7.打包成JAR文件
Spark程序開發
1、啟動Spark Shell
2、載入text文件
3、RDD操作及其應用
4、RDD緩存
5、構建Eclipse開發環境
6、構建IntelliJ IDEA開發環境
7、創建SparkContext對象
8、編寫編譯並提交應用程序
Spark編程模型
1、RDD特徵與依賴
2、集合（數組）創建RDD
3、存儲創建RDD
4、RDD轉換 執行 控制操作
5、廣播變數
6、累加器
作業執行解析
1、Spark組件
2、RDD視圖與DAG圖
3、基於Standalone模式的Spark架構
4、基於YARN模式的Spark架構
5、作業事件流和調度分析
6、構建應用程序運行時環境
7、應用程序轉換成DAG
Spark SQL與DataFrame
1、Spark SQL架構特性
2、DataFrame和RDD的區別
3、創建操作DataFrame
4、RDD轉化為DataFrame
5、載入保存操作與Hive表
6、Parquet文件JSON數據集
7、分布式的SQL Engine
8、性能調優 數據類型
深入Spark Streaming
1、Spark Streaming工作原理
2、DStream編程模型
3、Input DStream
4、DStream轉換 狀態 輸出
5、優化運行時間及內存使用
6、文件輸入源
7、基於Receiver的輸入源
8、輸出操作
Spark MLlib與機器學習
1、機器學習分類級演算法
2、Spark MLlib庫
3、MLlib數據類型
4、MLlib的演算法庫與實例
5、ML庫主要概念
6、演算法庫與實例
GraphX與SparkR
1、Spark GraphX架構
2、GraphX編程與常用圖演算法
3、GraphX應用場景
4、SparkR的工作原理
5、R語言與其他語言的通信
6、SparkR的運行與應用
7、R的DataFrame操作方法
8、SparkR的DataFrame
Scala編程開發
1、Scala語法基礎
2、idea工具安裝
3、maven工具配置
4、條件結構、循環、高級for循環
5、數組、映射、元組
6、類、樣例類、對象、伴生對象
7、高階函數與函數式編程
Scala進階
1、 柯里化、閉包
2、模式匹配、偏函數
3、類型參數
4、協變與逆變
5、隱式轉換、隱式參數、隱式值
6、Actor機制
7、高級項目案例
Python編程
1、Python編程介紹
2、Python的基本語法
3、Python開發環境搭建
4、Pyhton開發Spark應用程序
第八階段：Storm生態系統
storm簡介與基本知識
1、storm的誕生誕生與成長
2、storm的優勢與應用
3、storm基本知識概念和配置
4、序列化與容錯機制
5、可靠性機制—保證消息處理
6、storm開發環境與生產環境
7、storm拓撲的並行度
8、storm命令行客戶端
Storm拓撲與組件詳解
1、流分組和拓撲運行
2、拓撲的常見模式
3、本地模式與stormsub的對比
4、 使用非jvm語言操作storm
5、hook、組件基本介面
6、基本抽象類
7、事務介面
8、組件之間的相互關系
spout詳解 與bolt詳解
1、spout獲取數據的方式
2、常用的spout
3、學習編寫spout類
4、bolt概述
5、可靠的與不可靠的bolt
6、復合流與復合anchoring
7、 使用其他語言定義bolt
8、學習編寫bolt類
storm安裝與集群搭建
1、storm集群安裝步驟與准備
2、本地模式storm配置命令
3、配置hosts文件、安裝jdk
4、zookeeper集群的搭建
5、部署節點
6、storm集群的搭建
7、zookeeper應用案例
8、Hadoop高可用集群搭建
Kafka
1、Kafka介紹和安裝
2、整合Flume
3、Kafka API
4、Kafka底層實現原理
5、Kafka的消息處理機制
6、數據傳輸的事務定義
7、Kafka的存儲策略
Flume
1、Flume介紹和安裝
2、Flume Source講解
3、Flume Channel講解
4、Flume Sink講解
5、flume部署種類、流配置
6、單一代理、多代理說明
7、flume selector相關配置
Redis
1、Redis介紹和安裝、配置
2、Redis數據類型
3、Redis鍵、字元串、哈希
4、Redis列表與集合
5、Redis事務和腳本
6、Redis數據備份與恢復
7、Redis的SHELL操作
❷ 選擇什麼樣的數據倉庫架構比較好如何選擇呢
一直想整理一下這塊內容，既然是漫談，就想起什麼說什麼吧。我一直是在互聯網行業，就以互聯網行業來說。
先大概列一下互聯網行業數據倉庫、數據平台的用途：
整合公司所有業務數據，建立統一的數據中心；
提供各種報表，有給高層的，有給各個業務的；
為網站運營提供運營上的數據支持，就是通過數據，讓運營及時了解網站和產品的運營效果；
為各個業務提供線上或線下的數據支持，成為公司統一的數據交換與提供平台；
分析用戶行為數據，通過數據挖掘來降低投入成本，提高投入效果；比如廣告定向精準投放、用戶個性化推薦等；
開發數據產品，直接或間接為公司盈利；
建設開放數據平台，開放公司數據；
。。。。。。
上面列出的內容看上去和傳統行業數據倉庫用途差不多，並且都要求數據倉庫/數據平台有很好的穩定性、可靠性；但在互聯網行業，除了數據量大之外，越來越多的業務要求時效性，甚至很多是要求實時的 ，另外，互聯網行業的業務變化非常快，不可能像傳統行業一樣，可以使用自頂向下的方法建立數據倉庫，一勞永逸，它要求新的業務很快能融入數據倉庫中來，老的下線的業務，能很方便的從現有的數據倉庫中下線；
其實，互聯網行業的數據倉庫就是所謂的敏捷數據倉庫，不但要求能快速的響應數據，也要求能快速的響應業務；
建設敏捷數據倉庫，除了對架構技術上的要求之外，還有一個很重要的方面，就是數據建模，如果一上來就想著建立一套能兼容所有數據和業務的數據模型，那就又回到傳統數據倉庫的建設上了，很難滿足對業務變化的快速響應。應對這種情況，一般是先將核心的持久化的業務進行深度建模（比如：基於網站日誌建立的網站統計分析模型和用戶瀏覽軌跡模型；基於公司核心用戶數據建立的用戶模型），其它的業務一般都採用維度+寬表的方式來建立數據模型。這塊是後話。
整體架構下面的圖是我們目前使用的數據平台架構圖，其實大多公司應該都差不多：
邏輯上，一般都有數據採集層、數據存儲與分析層、數據共享層、數據應用層。可能叫法有所不同，本質上的角色都大同小異。
我們從下往上看：
數據採集數據採集層的任務就是把數據從各種數據源中採集和存儲到數據存儲上，期間有可能會做一些簡單的清洗。
數據源的種類比較多：
網站日誌：
作為互聯網行業，網站日誌占的份額最大，網站日誌存儲在多台網站日誌伺服器上，
一般是在每台網站日誌伺服器上部署flume agent，實時的收集網站日誌並存儲到HDFS上；
業務資料庫：
業務資料庫的種類也是多種多樣，有Mysql、Oracle、SqlServer等，這時候，我們迫切的需要一種能從各種資料庫中將數據同步到HDFS上的工具，Sqoop是一種，但是Sqoop太過繁重，而且不管數據量大小，都需要啟動MapRece來執行，而且需要Hadoop集群的每台機器都能訪問業務資料庫；應對此場景，淘寶開源的DataX，是一個很好的解決方案（可參考文章 《異構數據源海量數據交換工具-Taobao DataX 下載和使用》），有資源的話，可以基於DataX之上做二次開發，就能非常好的解決，我們目前使用的DataHub也是。
當然，Flume通過配置與開發，也可以實時的從資料庫中同步數據到HDFS。
來自於Ftp/Http的數據源：
有可能一些合作夥伴提供的數據，需要通過Ftp/Http等定時獲取，DataX也可以滿足該需求；
其他數據源：
比如一些手工錄入的數據，只需要提供一個介面或小程序，即可完成；
數據存儲與分析毋庸置疑，HDFS是大數據環境下數據倉庫/數據平台最完美的數據存儲解決方案。
離線數據分析與計算，也就是對實時性要求不高的部分，在我看來，Hive還是首當其沖的選擇，豐富的數據類型、內置函數；壓縮比非常高的ORC文件存儲格式；非常方便的SQL支持，使得Hive在基於結構化數據上的統計分析遠遠比MapRece要高效的多，一句SQL可以完成的需求，開發MR可能需要上百行代碼；
當然，使用Hadoop框架自然而然也提供了MapRece介面，如果真的很樂意開發Java，或者對SQL不熟，那麼也可以使用MapRece來做分析與計算；Spark是這兩年非常火的，經過實踐，它的性能的確比MapRece要好很多，而且和Hive、Yarn結合的越來越好，因此，必須支持使用Spark和SparkSQL來做分析和計算。因為已經有Hadoop Yarn，使用Spark其實是非常容易的，不用單獨部署Spark集群，關於Spark On Yarn的相關文章，可參考：《Spark On Yarn系列文章》
實時計算部分，後面單獨說。
數據共享這里的數據共享，其實指的是前面數據分析與計算後的結果存放的地方，其實就是關系型資料庫和NOSQL資料庫；
前面使用Hive、MR、Spark、SparkSQL分析和計算的結果，還是在HDFS上，但大多業務和應用不可能直接從HDFS上獲取數據，那麼就需要一個數據共享的地方，使得各業務和產品能方便的獲取數據；和數據採集層到HDFS剛好相反，這里需要一個從HDFS將數據同步至其他目標數據源的工具，同樣，DataX也可以滿足。
另外，一些實時計算的結果數據可能由實時計算模塊直接寫入數據共享。
數據應用
業務產品
業務產品所使用的數據，已經存在於數據共享層，他們直接從數據共享層訪問即可；
報表
同業務產品，報表所使用的數據，一般也是已經統計匯總好的，存放於數據共享層；
即席查詢
即席查詢的用戶有很多，有可能是數據開發人員、網站和產品運營人員、數據分析人員、甚至是部門老大，他們都有即席查詢數據的需求；
這種即席查詢通常是現有的報表和數據共享層的數據並不能滿足他們的需求，需要從數據存儲層直接查詢。
即席查詢一般是通過SQL完成，最大的難度在於響應速度上，使用Hive有點慢，目前我的解決方案是SparkSQL，它的響應速度較Hive快很多，而且能很好的與Hive兼容。
當然，你也可以使用Impala，如果不在乎平台中再多一個框架的話。
OLAP
目前，很多的OLAP工具不能很好的支持從HDFS上直接獲取數據，都是通過將需要的數據同步到關系型資料庫中做OLAP，但如果數據量巨大的話，關系型資料庫顯然不行；
這時候，需要做相應的開發，從HDFS或者HBase中獲取數據，完成OLAP的功能；
比如：根據用戶在界面上選擇的不定的維度和指標，通過開發介面，從HBase中獲取數據來展示。
其它數據介面
這種介面有通用的，有定製的。比如：一個從Redis中獲取用戶屬性的介面是通用的，所有的業務都可以調用這個介面來獲取用戶屬性。
實時計算現在業務對數據倉庫實時性的需求越來越多，比如：實時的了解網站的整體流量；實時的獲取一個廣告的曝光和點擊；在海量數據下，依靠傳統資料庫和傳統實現方法基本完成不了，需要的是一種分布式的、高吞吐量的、延時低的、高可靠的實時計算框架；Storm在這塊是比較成熟了，但我選擇Spark Streaming，原因很簡單，不想多引入一個框架到平台中，另外，Spark Streaming比Storm延時性高那麼一點點，那對於我們的需要可以忽略。
我們目前使用Spark Streaming實現了實時的網站流量統計、實時的廣告效果統計兩塊功能。
做法也很簡單，由Flume在前端日誌伺服器上收集網站日誌和廣告日誌，實時的發送給Spark Streaming，由Spark Streaming完成統計，將數據存儲至Redis，業務通過訪問Redis實時獲取。
任務調度與監控在數據倉庫/數據平台中，有各種各樣非常多的程序和任務，比如：數據採集任務、數據同步任務、數據分析任務等；
這些任務除了定時調度，還存在非常復雜的任務依賴關系，比如：數據分析任務必須等相應的數據採集任務完成後才能開始；數據同步任務需要等數據分析任務完成後才能開始；這就需要一個非常完善的任務調度與監控系統，它作為數據倉庫/數據平台的中樞，負責調度和監控所有任務的分配與運行。
前面有寫過文章，《大數據平台中的任務調度與監控》,這里不再累贅。
總結在我看來架構並不是技術越多越新越好，而是在可以滿足需求的情況下，越簡單越穩定越好。目前在我們的數據平台中，開發更多的是關注業務，而不是技術，他們把業務和需求搞清楚了，基本上只需要做簡單的SQL開發，然後配置到調度系統就可以了，如果任務異常，會收到告警。這樣，可以使更多的資源專注於業務之上。
❸ 大數據方面核心技術有哪些
簡單來說，從大數據的生命周期來看，無外乎四個方面：大數據採集、大數據預處理、大數據存儲、大數據分析，共同組成了大數據生命周期里最核心的技術，下面分開來說：
大數據採集
資料庫採集：流行的有Sqoop和ETL，傳統的關系型資料庫MySQL和Oracle 也依然充當著許多企業的數據存儲方式。當然了，目前對於開源的Kettle和Talend本身，也集成了大數據集成內容，可實現hdfs，hbase和主流Nosq資料庫之間的數據同步和集成。
網路數據採集：一種藉助網路爬蟲或網站公開API，從網頁獲取非結構化或半結構化數據，並將其統一結構化為本地數據的數據採集方式。
文件採集：包括實時文件採集和處理技術flume、基於ELK的日誌採集和增量採集等等。
大數據預處理
數據清理：指利用ETL等清洗工具，對有遺漏數據(缺少感興趣的屬性)、噪音數據(數據中存在著錯誤、或偏離期望值的數據)、不一致數據進行處理。
數據集成：是指將不同數據源中的數據，合並存放到統一資料庫的，存儲方法，著重解決三個問題：模式匹配、數據冗餘、數據值沖突檢測與處理。
數據轉換：是指對所抽取出來的數據中存在的不一致，進行處理的過程。它同時包含了數據清洗的工作，即根據業務規則對異常數據進行清洗，以保證後續分析結果准確性。
數據規約：是指在最大限度保持數據原貌的基礎上，最大限度精簡數據量，以得到較小數據集的操作，包括：數據方聚集、維規約、數據壓縮、數值規約、概念分層等。
大數據存儲，指用存儲器，以資料庫的形式，存儲採集到的數據的過程，包含三種典型路線：
大數據採集，即對各種來源的結構化和非結構化海量數據，所進行的採集。
大數據預處理，指的是在進行數據分析之前，先對採集到的原始數據所進行的諸如「清洗、填補、平滑、合並、規格化、一致性檢驗」等一系列操作，旨在提高數據質量，為後期分析工作奠定基礎。數據預處理主要包括四個部分：數據清理、數據集成、數據轉換、數據規約。
1、基於MPP架構的新型資料庫集群
採用Shared Nothing架構，結合MPP架構的高效分布式計算模式，通過列存儲、粗粒度索引等多項大數據處理技術，重點面向行業大數據所展開的數據存儲方式。具有低成本、高性能、高擴展性等特點，在企業分析類應用領域有著廣泛的應用。
較之傳統資料庫，其基於MPP產品的PB級數據分析能力，有著顯著的優越性。自然，MPP資料庫，也成為了企業新一代數據倉庫的最佳選擇。
2、基於Hadoop的技術擴展和封裝
基於Hadoop的技術擴展和封裝，是針對傳統關系型資料庫難以處理的數據和場景（針對非結構化數據的存儲和計算等），利用Hadoop開源優勢及相關特性（善於處理非結構、半結構化數據、復雜的ETL流程、復雜的數據挖掘和計算模型等），衍生出相關大數據技術的過程。
伴隨著技術進步，其應用場景也將逐步擴大，目前最為典型的應用場景：通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐，其中涉及了幾十種NoSQL技術。
3、大數據一體機
這是一種專為大數據的分析處理而設計的軟、硬體結合的產品。它由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統，以及為數據查詢、處理、分析而預安裝和優化的軟體組成，具有良好的穩定性和縱向擴展性。
四、大數據分析挖掘
從可視化分析、數據挖掘演算法、預測性分析、語義引擎、數據質量管理等方面，對雜亂無章的數據，進行萃取、提煉和分析的過程。
1、可視化分析
可視化分析，指藉助圖形化手段，清晰並有效傳達與溝通信息的分析手段。主要應用於海量數據關聯分析，即藉助可視化數據分析平台，對分散異構數據進行關聯分析，並做出完整分析圖表的過程。
具有簡單明了、清晰直觀、易於接受的特點。
2、數據挖掘演算法
數據挖掘演算法，即通過創建數據挖掘模型，而對數據進行試探和計算的，數據分析手段。它是大數據分析的理論核心。
數據挖掘演算法多種多樣，且不同演算法因基於不同的數據類型和格式，會呈現出不同的數據特點。但一般來講，創建模型的過程卻是相似的，即首先分析用戶提供的數據，然後針對特定類型的模式和趨勢進行查找，並用分析結果定義創建挖掘模型的最佳參數，並將這些參數應用於整個數據集，以提取可行模式和詳細統計信息。
3、預測性分析
預測性分析，是大數據分析最重要的應用領域之一，通過結合多種高級分析功能（特別統計分析、預測建模、數據挖掘、文本分析、實體分析、優化、實時評分、機器學習等），達到預測不確定事件的目的。
幫助分用戶析結構化和非結構化數據中的趨勢、模式和關系，並運用這些指標來預測將來事件，為採取措施提供依據。
4、語義引擎
語義引擎，指通過為已有數據添加語義的操作，提高用戶互聯網搜索體驗。
5、數據質量管理
指對數據全生命周期的每個階段（計劃、獲取、存儲、共享、維護、應用、消亡等）中可能引發的各類數據質量問題，進行識別、度量、監控、預警等操作，以提高數據質量的一系列管理活動。
以上是從大的方面來講，具體來說大數據的框架技術有很多，這里列舉其中一些：
文件存儲：Hadoop HDFS、Tachyon、KFS
離線計算：Hadoop MapRece、Spark
流式、實時計算：Storm、Spark Streaming、S4、Heron
K-V、NOSQL資料庫：HBase、Redis、MongoDB
資源管理：YARN、Mesos
日誌收集：Flume、Scribe、Logstash、Kibana
消息系統：Kafka、StormMQ、ZeroMQ、RabbitMQ
查詢分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid
分布式協調服務：Zookeeper
集群管理與監控：Ambari、Ganglia、Nagios、Cloudera Manager
數據挖掘、機器學習：Mahout、Spark MLLib
數據同步：Sqoop
任務調度：Oozie
❹ 大數據需要掌握哪些技能
大數據技術體系龐大，包括的知識較多
1、學習大數據首先要學習Java基礎
Java是大數據學習需要的編程語言基礎，因為大數據的開發基於常用的高級語言。而且不論是學hadoop，
2、學習大數據必須學習大數據核心知識
Hadoop生態系統;HDFS技術;HBASE技術;Sqoop使用流程;數據倉庫工具HIVE;大數據離線分析Spark、Python語言;數據實時分析Storm;消息訂閱分發系統Kafka等。
3、學習大數據需要具備的能力
數學知識，數學知識是數據分析師的基礎知識。對於數據分析師，了解一些描述統計相關的內容，需要有一定公式計算能力，了解常用統計模型演算法。而對於數據挖掘工程師來說，各類演算法也需要熟練使用，對數學的要求是最高的。
4、學習大數據可以應用的領域
大數據技術可以應用在各個領域，比如公安大數據、交通大數據、醫療大數據、就業大數據、環境大數據、圖像大數據、視頻大數據等等，應用范圍非常廣泛。
❺ 大數據培訓課程安排有哪些，深圳大數據培訓哪家好
首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
大數據
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
❻ Java大數據需要學習哪些內容
首先明確，java大數據通常指的是採用Java語言來完成一些大數據領域的開發任務，整體的學習內容涉及到三大塊，其一是Java語言基礎，其二是大數據平台基礎，其三是場景開發基礎。
Java開發包括了Java基礎，JavaWeb和JavaEE三大塊。java可以說是大數據最基礎的編程語言，一是因為大數據的本質無非就是海量數據的計算，查詢與存儲，後台開發很容易接觸到大數據量存取的應用場景。java語言基礎部分的學習內容相對比較明確，由於Java語言本身的技術體系已經比較成熟了，所以學習過程也會相對比較順利。JavaWeb開發不僅涉及到後端開發知識，還涉及到前端開發知識，整體的知識量還是比較大的，而且在學習的過程中，需要完成大量的實驗。
大數據開發包括Java基礎，MySQL基礎，Hadoop(HDFS,MapRece,Yarn,Hive,Hbase,Zookeeper,Flume,Sqoop等)，Scala語言(類似於Java,Spark階段使用)，Spark(SparkSQL,SparkStreaming,SparkCore等)。
學習Java大數據一定離不開具體的場景，這裡面的場景不僅指硬體場景（數據中心），還需要有行業場景支持，所以學習Java大數據通常都會選擇一個行業作為切入點，比如金融行業、醫療行業、教育行業等等。初學者可以考慮在實習崗位上來完成這個階段的學習任務
總體上來說，Java大數據的學習內容是比較多的，而且也具有一定的難度。
❼ 大數據時代發展歷程是什麼
大數據技術發展史：大數據的前世今生
今天我們常說的大數據技術，其實起源於Google在2004年前後發表的三篇論文，也就是我們經常聽到的「三駕馬車」，分別是分布式文件系統GFS、大數據分布式計算框架MapRece和NoSQL資料庫系統BigTable。
你知道，搜索引擎主要就做兩件事情，一個是網頁抓取，一個是索引構建，而在這個過程中，有大量的數據需要存儲和計算。這「三駕馬車」其實就是用來解決這個問題的，你從介紹中也能看出來，一個文件系統、一個計算框架、一個資料庫系統。
現在你聽到分布式、大數據之類的詞，肯定一點兒也不陌生。但你要知道，在2004年那會兒，整個互聯網還處於懵懂時代，Google發布的論文實在是讓業界為之一振，大家恍然大悟，原來還可以這么玩。
因為那個時間段，大多數公司的關注點其實還是聚焦在單機上，在思考如何提升單機的性能，尋找更貴更好的伺服器。而Google的思路是部署一個大規模的伺服器集群，通過分布式的方式將海量數據存儲在這個集群上，然後利用集群上的所有機器進行數據計算。 這樣，Google其實不需要買很多很貴的伺服器，它只要把這些普通的機器組織到一起，就非常厲害了。
當時的天才程序員，也是Lucene開源項目的創始人Doug Cutting正在開發開源搜索引擎Nutch，閱讀了Google的論文後，他非常興奮，緊接著就根據論文原理初步實現了類似GFS和MapRece的功能。
兩年後的2006年，Doug Cutting將這些大數據相關的功能從Nutch中分離了出來，然後啟動了一個獨立的項目專門開發維護大數據技術，這就是後來赫赫有名的Hadoop，主要包括Hadoop分布式文件系統HDFS和大數據計算引擎MapRece。
當我們回顧軟體開發的歷史，包括我們自己開發的軟體，你會發現，有的軟體在開發出來以後無人問津或者寥寥數人使用，這樣的軟體其實在所有開發出來的軟體中佔大多數。而有的軟體則可能會開創一個行業，每年創造數百億美元的價值，創造百萬計的就業崗位，這些軟體曾經是Windows、Linux、Java，而現在這個名單要加上Hadoop的名字。
如果有時間，你可以簡單瀏覽下Hadoop的代碼，這個純用Java編寫的軟體其實並沒有什麼高深的技術難點，使用的也都是一些最基礎的編程技巧，也沒有什麼出奇之處，但是它卻給社會帶來巨大的影響，甚至帶動一場深刻的科技革命，推動了人工智慧的發展與進步。
我覺得，我們在做軟體開發的時候，也可以多思考一下，我們所開發軟體的價值點在哪裡？真正需要使用軟體實現價值的地方在哪裡？你應該關注業務、理解業務，有價值導向，用自己的技術為公司創造真正的價值，進而實現自己的人生價值。而不是整天埋頭在需求說明文檔里，做一個沒有思考的代碼機器人。
Hadoop發布之後，Yahoo很快就用了起來。大概又過了一年到了2007年，網路和阿里巴巴也開始使用Hadoop進行大數據存儲與計算。
2008年，Hadoop正式成為Apache的頂級項目，後來Doug Cutting本人也成為了Apache基金會的主席。自此，Hadoop作為軟體開發領域的一顆明星冉冉升起。
同年，專門運營Hadoop的商業公司Cloudera成立，Hadoop得到進一步的商業支持。
這個時候，Yahoo的一些人覺得用MapRece進行大數據編程太麻煩了，於是便開發了Pig。Pig是一種腳本語言，使用類SQL的語法，開發者可以用Pig腳本描述要對大數據集上進行的操作，Pig經過編譯後會生成MapRece程序，然後在Hadoop上運行。
編寫Pig腳本雖然比直接MapRece編程容易，但是依然需要學習新的腳本語法。於是Facebook又發布了Hive。Hive支持使用SQL語法來進行大數據計算，比如說你可以寫個Select語句進行數據查詢，然後Hive會把SQL語句轉化成MapRece的計算程序。
這樣，熟悉資料庫的數據分析師和工程師便可以無門檻地使用大數據進行數據分析和處理了。Hive出現後極大程度地降低了Hadoop的使用難度，迅速得到開發者和企業的追捧。據說，2011年的時候，Facebook大數據平台上運行的作業90%都來源於Hive。
隨後，眾多Hadoop周邊產品開始出現，大數據生態體系逐漸形成，其中包括：專門將關系資料庫中的數據導入導出到Hadoop平台的Sqoop；針對大規模日誌進行分布式收集、聚合和傳輸的Flume；MapRece工作流調度引擎Oozie等。
在Hadoop早期，MapRece既是一個執行引擎，又是一個資源調度框架，伺服器集群的資源調度管理由MapRece自己完成。但是這樣不利於資源復用，也使得MapRece非常臃腫。於是一個新項目啟動了，將MapRece執行引擎和資源調度分離開來，這就是Yarn。2012年，Yarn成為一個獨立的項目開始運營，隨後被各類大數據產品支持，成為大數據平台上最主流的資源調度系統。
同樣是在2012年，UC伯克利AMP實驗室（Algorithms、Machine和People的縮寫）開發的Spark開始嶄露頭角。當時AMP實驗室的馬鐵博士發現使用MapRece進行機器學習計算的時候性能非常差，因為機器學習演算法通常需要進行很多次的迭代計算，而MapRece每執行一次Map和Rece計算都需要重新啟動一次作業，帶來大量的無謂消耗。還有一點就是MapRece主要使用磁碟作為存儲介質，而2012年的時候，內存已經突破容量和成本限制，成為數據運行過程中主要的存儲介質。Spark一經推出，立即受到業界的追捧，並逐步替代MapRece在企業應用中的地位。
一般說來，像MapRece、Spark這類計算框架處理的業務場景都被稱作批處理計算，因為它們通常針對以「天」為單位產生的數據進行一次計算，然後得到需要的結果，這中間計算需要花費的時間大概是幾十分鍾甚至更長的時間。因為計算的數據是非在線得到的實時數據，而是歷史數據，所以這類計算也被稱為大數據離線計算。
而在大數據領域，還有另外一類應用場景，它們需要對實時產生的大量數據進行即時計算，比如對於遍布城市的監控攝像頭進行人臉識別和嫌犯追蹤。這類計算稱為大數據流計算，相應地，有Storm、Flink、Spark Streaming等流計算框架來滿足此類大數據應用的場景。 流式計算要處理的數據是實時在線產生的數據，所以這類計算也被稱為大數據實時計算。
在典型的大數據的業務場景下，數據業務最通用的做法是，採用批處理的技術處理歷史全量數據，採用流式計算處理實時新增數據。而像Flink這樣的計算引擎，可以同時支持流式計算和批處理計算。
除了大數據批處理和流處理，NoSQL系統處理的主要也是大規模海量數據的存儲與訪問，所以也被歸為大數據技術。 NoSQL曾經在2011年左右非常火爆，涌現出HBase、Cassandra等許多優秀的產品，其中HBase是從Hadoop中分離出來的、基於HDFS的NoSQL系統。
我們回顧軟體發展的歷史會發現，差不多類似功能的軟體，它們出現的時間都非常接近，比如Linux和Windows都是在90年代初出現，Java開發中的各類MVC框架也基本都是同期出現，Android和iOS也是前腳後腳問世。2011年前後，各種NoSQL資料庫也是層出不群，我也是在那個時候參與開發了阿里巴巴自己的NoSQL系統。
事物發展有自己的潮流和規律，當你身處潮流之中的時候，要緊緊抓住潮流的機會，想辦法脫穎而出，即使沒有成功，也會更加洞悉時代的脈搏，收獲珍貴的知識和經驗。而如果潮流已經退去，這個時候再去往這個方向上努力，只會收獲迷茫與壓抑，對時代、對自己都沒有什麼幫助。
但是時代的浪潮猶如海灘上的浪花，總是一浪接著一浪，只要你站在海邊，身處這個行業之中，下一個浪潮很快又會到來。你需要敏感而又深刻地去觀察，略去那些浮躁的泡沫，抓住真正潮流的機會，奮力一搏，不管成敗，都不會遺憾。
正所謂在歷史前進的邏輯中前進，在時代發展的潮流中發展。通俗的說，就是要在風口中飛翔。
上面我講的這些基本上都可以歸類為大數據引擎或者大數據框架。而大數據處理的主要應用場景包括數據分析、數據挖掘與機器學習。數據分析主要使用Hive、Spark SQL等SQL引擎完成；數據挖掘與機器學習則有專門的機器學習框架TensorFlow、Mahout以及MLlib等，內置了主要的機器學習和數據挖掘演算法。
此外，大數據要存入分布式文件系統（HDFS），要有序調度MapRece和Spark作業執行，並能把執行結果寫入到各個應用系統的資料庫中，還需要有一個大數據平台整合所有這些大數據組件和企業應用系統。
圖中的所有這些框架、平台以及相關的演算法共同構成了大數據的技術體系，我將會在專欄後面逐個分析，幫你能夠對大數據技術原理和應用演算法構建起完整的知識體系，進可以專職從事大數據開發，退可以在自己的應用開發中更好地和大數據集成，掌控自己的項目。
希望對您有所幫助！~
❽ 如何讓數據流動起來，讓數據擁抱數據
圍牆里的大數據註定成為死數據。大數據需要開放式創新，從數據的開放、共享和交易，到價值提取能力的開放，再到基礎處理和分析平台的開放，讓數據如同血液在數據社會的軀體中長流，滋潤數據經濟，讓更多的長尾企業和數據思維創新者產生多姿多彩的化學作用，才能創造大數據的黃金時代。
我的大數據研究軌跡
我做了4-5年的移動架構和Java虛擬機，4-5年的眾核架構和並行編程系統，最近4-5年也在追時髦，先是投入物聯網，最近幾年一直在做大數據。我們團隊的大數據研究軌跡如下圖所示：
2010-2012年，主要關注數據和機器的關系：水平擴展、容錯、一致性、軟硬體協同設計，同時釐清各種計算模式，從批處理（MapRece）到流處理、Big SQL/ad hoc query、圖計算、機器學習等等。事實上，我們的團隊只是英特爾大數據研發力量的一部分，上海的團隊是英特爾Hadoop發行版的主力軍，現在英特爾成了Cloudera的最大股東，自己不做發行版了，但是平台優化、開源支持和垂直領域的解決方案仍然是英特爾大數據研發的重心。
從2013年開始關注數據與人的關系：對於數據科學家怎麼做好分布式機器學習、特徵工程與非監督學習，對於領域專家來說怎麼做好互動式分析工具，對於終端用戶怎麼做好互動式可視化工具。英特爾研究院在美國卡內基梅隆大學支持的科研中心做了GraphLab、Stale Synchronous Parallelism，在MIT的科研中心做了互動式可視化和SciDB上的大數據分析，而中國主要做了Spark SQL和MLlib（機器學習庫），現在也涉及到深度學習演算法和基礎設施。
2014年重點分析數據和數據的關系：我們原來的工作重心是開源，後來發現開源只是開放式創新的一個部分，做大數據的開放式創新還要做數據的開放、大數據基礎設施的開放以及價值提取能力的開放。
數據的暗黑之海與外部效應
下面是一張非常有意思的圖，黃色部分是化石級的，即沒有聯網、沒有數字化的數據，而絕大多數的數據是在這片海裡面。只有海平面的這些數據（有人把它稱作Surface Web）才是真正大家能訪問到的數據，爬蟲能爬到、搜索引擎能檢索到的數據，而絕大多數的數據是在暗黑之海裡面（相應地叫做Dark Web），據說這一部分佔數據總量的85%以上，它們在一些孤島裡面，在一些企業、政府裡面躺在地板上睡大覺。
數據之於數據社會，就如同水之於城市或者血液之於身體一樣。城市因為河流而誕生也受其滋養，血液一旦停滯身體也就危在旦夕。所以，對於號稱數據化生存的社會來說，我們一定要讓數據流動起來，不然這個社會將會喪失諸多重要功能。
所以，我們希望數據能夠像「金風玉露一相逢」那樣產生化學作用。馬化騰先生提出了一個internet+的概念，英特爾也有一個大數據X，相當於大數據乘以各行各業。如下圖所示，乘法效應之外，數據有個非常奇妙的效應叫做外部效應（externality），比如這個數據對我沒用但對TA很有用，所謂我之毒葯彼之蜜糖。
比如，金融數據和電商數據碰撞在一起，就產生了像小微貸款那樣的互聯網金融；電信數據和政府數據相遇，可以產生人口統計學方面的價值，幫助城市規劃人們居住、工作、娛樂的場所；金融數據和醫學數據在一起，麥肯錫列舉了很多應用，比如可以發現騙保；物流數據和電商數據湊在一塊，可以了解各個經濟子領域的運行情況；物流數據和金融數據產生供應鏈金融，而金融數據和農業數據也能發生一些化學作用。比如Google analytics出來的幾個人，利用美國開放氣象數據，在每一塊農田上建立微氣象模型，可以預測災害，幫助農民保險和理賠。
所以，要走數據開放之路，讓不同領域的數據真正流動起來、融合起來，才能釋放大數據的價值。
三個關於開放的概念
1、數據開放
首先是狹義的數據開放。數據開放的主體是政府和科研機構，把非涉密的政府數據及科研數據開放出來。現在也有一些企業願意開放數據，像Netflix和一些電信運營商，來幫助他們的數據價值化，建構生態系統。但是數據開放不等於信息公開。首先，數據不等於信息，信息是從數據裡面提煉出來的東西。我們希望，首先要開放原始的數據（raw data），其次，它是一種主動和免費的開放，我們現在經常聽說要申請信息公開，那是被動的開放。
Tim Berners Lee提出了數據開放的五星標准，以保證數據質量：一星是開放授權的格式，比如說PDF；其次是結構化，把數據從文件變成了像excel這樣的表；三星是開放格式，如CSV；四星是能夠通過URI找到每一個數據項；五星代表能夠和其它數據鏈接，形成一個開放的數據圖譜。
現在主流的數據開放門戶，像data.dov或data.gov.uk，都是基於開源軟體。英特爾在MIT的大數據科研中心也做了一種形態，叫Datahub：吉祥物很有趣，一半是大象，代表資料庫技術，一半是章魚，取自github的吉祥物章魚貓。它提供更多的功能比如易管理性，提供結構化數據服務和訪問控制，對數據共享進行管理，同時可以在原地做可視化和分析。
廣義的數據開放還有數據的共享及交易，比如點對點進行數據共享或在多邊平台上做數據交易。馬克思說生產資料所有制是經濟的基礎，但是現在大家可以發現，生產資料的租賃制變成了一種主流（參考《Lean Startup》），在數據的場景下，我不一定擁有數據，甚至不用整個數據集，但可以租賃。租賃的過程中要保證數據的權利。
首先，我可以做到數據給你用，但不可以給你看見。姚期智老先生82年提出「millionaires』 dilemma（百萬富翁的窘境）」，兩個百萬富翁比富誰都不願意說出自己有多少錢，這就是典型的「可用但不可見」場景。在實際生活中的例子很多，比如美國國土安全部有恐怖分子名單（數據1），航空公司有乘客飛行記錄（數據2），國土安全部向航空公司要乘客飛行記錄，航空公司不給，因為涉及隱私，他反過來向國土安全部要恐怖分子名單，也不行，因為是國家機密。雙方都有發現恐怖分子的意願，但都不願給出數據，有沒有辦法讓數據1和數據2放一起掃一下，但又保障數據安全呢？
其次，在數據使用過程中要有審計，萬一那個掃描程序偷偷把數據藏起來送回去怎麼辦？再者，需要數據定價機制，雙方數據的價值一定不對等，產生的洞察對各方的用途也不一樣，因此要有個定價機制，比大鍋飯式的數據共享更有激勵性。
從點對點的共享，走到多邊的數據交易，從一對多的數據服務到多對多的數據市場，再到數據交易所。如果說現在的數據市場更多是對數據集進行買賣的話，那麼數據交易所就是一個基於市場進行價值發現和定價的，像股票交易所那樣的、小批量、高頻率的數據交易。
我們支持了不少研究來實現剛才所說的這些功能，比如說可用而不可見。案例一是通過加密資料庫CryptDB/Monomi實現，在數據擁有方甲方這邊的資料庫是完全加密的，這事實上也防止了現在出現的很多數據泄露問題，大家已經聽到，比如說某互聯網服務提供商的員工偷偷把數據拿出來賣，你的數據一旦加密了他拿出來也沒用。其次，這個加密資料庫可以運行乙方的普通SQL程序，因為它採用了同態加密技術和洋蔥加密法，SQL的一些語義在密文上也可以執行。
針對「百萬富翁的窘境」，我們做了另一種可用但不可見的技術，叫做數據咖啡館。大家知道咖啡館是讓人和人進行思想碰撞的地方，這個數據咖啡館就是讓數據和數據能夠碰撞而產生新的價值。
比如兩個電商，一個是賣衣服的，一個是賣化妝品的，他們對於客戶的洞察都是相對有限的，如果兩邊的數據放在一起做一次分析，那麼就能夠獲得全面的用戶畫像。再如，癌症是一類長尾病症，有太多的基因突變，每個研究機構的基因組樣本都相對有限，這在某種程度上解釋了為什麼過去50年癌症的治癒率僅僅提升了8%。那麼，多個研究機構的數據在咖啡館碰一碰，也能夠加速癌症的研究。
在咖啡館的底層是多方安全計算的技術，基於英特爾和伯克利的一個聯合研究。在上面是安全、可信的Spark，基於「data lineage」的使用審計，根據各方數據對結果的貢獻進行定價。
2、大數據基礎設施的開放
現在有的是有大數據思維的人，但他們很捉急，玩不起、玩不會大數據，他不懂怎麼存儲、怎麼處理這些大數據，這就需要雲計算。基礎設施的開放還是傳統的Platform as a Service，比如Amazon AWS里有MapRece，Google有Big Query。這些大數據的基礎處理和分析平台可以降低數據思維者的門檻，釋放他們的創造力。
比如decide.com，每天爬幾十萬的數據，對價格信息（結構化的和非結構化的）進行分析，然後告訴你買什麼牌子、什麼時候買最好。只有四個PhD搞演算法，其他的靠AWS。另一家公司Prismatic，也利用了AWS，這是一家做個性化閱讀推薦的，我專門研究過它的計算圖、存儲和高性能庫，用LISP的一個變種Clojure寫的非常漂亮，真正做技術的只有三個學生。
所以當這些基礎設施社會化以後，大數據思維者的春天很快就要到來。
3、價值提取能力的開放
現在的模式一般是一大一小或一對多。比如Tesco和Dunnhumby，後者剛開始是很小的公司，找到Tesco給它做客戶忠誠度計劃，一做就做了幾十年，這樣的長期戰略合作優於短期的數據分析服務，決策更注重長期性。當然，Dunnhumby現在已經不是小公司了，也為其他大公司提供數據分析服務。再如沃爾瑪和另外一家小公司合作，做數據分析，最後他把這家小公司買下來了，成了它的Walmart Labs。
一對多的模式，典型的是Palantir——Peter Thiel和斯坦福的幾個教授成立的公司，目前還是私有的，但估值近百億了，它很擅長給各類政府和金融機構提供數據價值提取服務。真正把這種能力開放的是Kaggle，它的雙邊，一邊是10多萬的分析師，另一邊是需求方企業，企業在Kaggle上發標，分析師競標，獲得業務。這可能是真正解決長尾公司價值提取能力的辦法。當然，如果能和我們的數據咖啡館結合，就更好了。
❾ spark rdd 對類型，receByKey時 key的相同性由什麼確定的
觸發shuffle見算：distinct、groupByKey、receByKey、aggregateByKey、join、cogroup、repartition等
要解決數據傾斜問題首先要定位數據傾斜發首先哪stage直接Web UI看查看運行耗task查看數據否傾斜
根據task根據stage劃原理推算數據傾斜發哪shuffle類算
查看導致數據傾斜key數據布情況
根據執行操作同種查看key布式：
1Spark SQLgroup by、join語句導致數據傾斜查詢SQL使用表key布情況
2Spark RDD執行shuffle算導致數據傾斜Spark作業加入查看key布代碼比RDD.countByKey()統計各key現數collect、take客戶端列印看key布情況
比針wordCount案例receByKey算導致數據傾斜：
val sampledPairs = pairs.sample(false,0.1) //pairs采10%
val sampledWordCounts = sampledPairs.countByKey()
sampledWordCounts.foreach(println(_))
數據傾斜解決辦
案：使用Hive ETL預處理數據
適用場景：導致數據傾斜Hive表Hive表數據本身均勻業務場景需要頻繁使用SparkHive表執行某析操作
實現思路：提前join等操作執行進行Hive階段ETL導致數據傾斜shuffle前置
優缺點：實現簡單Spark作業性能提升Hive ETL發數據傾斜導致Hive ETL速度慢
實踐經驗：數據傾斜提前游Hive ETL每執行慢慢點吧
案二：濾少數導致傾斜key
適用場景：少數幾key導致數據傾斜且計算本身影響並
實現思路：比Spark SQL直接用where條件濾掉些keyRDD用filter算濾掉些key態判斷哪些key數據量再進行濾使用sample算RDD進行采計算每key數量取數據量key濾掉即
優缺點：實現簡單效缺點般情況導致傾斜key少數
解決案三：提高shuffle操作並行度
適用場景：直接面數據傾斜簡單解決案
實現思路：RDD執行shuffle算給shuffle算傳入參數比receByKey(1000)該參數設置shuffle算執行shuffle read task數量於Spark SQLshuffle類語句比group byjoin等需要設置參數即spark.sql.shuffle.partitions該參數默認值200於場景說點
優缺點：簡單能緩解缺點沒根除問題效限
解決案四：兩階段聚合（局部聚合+全局聚合）
適用場景：RDD執行receByKey等聚合類shuffle算或者Spark SQL使用group by語句進行組聚合比較適合種案
實現思路：先局部聚合給每key打范圍隨機數比10內隨機數相於10份task10task聚合聚合掉key隨機數前綴再進行全局聚合操作
優缺點：幅度緩解數據傾斜缺點僅適用於聚合類shuffle操作
解決案五：rece join轉map join
❿ 大數據如何入門
首先我們要了解Java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
大數據
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。