一站式Hadoop&Spark雲計算分佈式大數據和Android&HTML5移動互聯網解決方案課程（Hadoop、Spark、Android、HTML5）V2的第一門課程

Hadoop是雲計算的事實標準軟件框架，是雲計算理念、機制和商業化的具體實現，是整個雲計算技術學習中公認的核心和最具備價值內容。

如何從企業級開發實戰的角度開始，在實際企業級動手操做中深刻淺出並按部就班的掌握Hadoop是本課程的核心。

 

雲計算學習者的心聲：

如何從企業級開發的角度，不斷動手實際操做，按部就班中掌握Hadoop，直到可以直接進行企業級開始，是困惑不少對雲計算感興趣的朋友的核心問題，本課程正是爲解決此問題而生，學習者只須要按照一步步的跟着視頻動手操做，便可徹底無痛掌握Hadoop企業級開發。

同時本課程會對Hadoop的核心源碼進行剖析，使學習者具有必定的修改Hadoop框架的能力，從而可以根據實際的業務狀況來打造本身的框架。

 

Hadoop領域4個開創先河

1，全程覆蓋Hadoop的全部核心內容

2，全程注重動手實做，按部就班中掌握Hadoop企業級實戰技術

3，在授課的過程當中會對Hadoop的核心源碼進行深度剖析，使得學員具備改造Hadoop框架的能力

4，具有掌握Hadoop完整項目的分析、開發、部署的全過程的能力

 

---講師:

王家林 :

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

 

Total Hadoop Professional
培訓對象	1，對雲計算、分佈式數據存儲於處理、大數據等感興趣的朋友 2，傳統的數據庫，例如Oracle、MaySQL、DB2等的管理人員 3，Java開發者 4，網站服務器端的開發人員
參加課程基礎要求	對雲計算有強烈的興趣，可以看懂基本的Java語法。
培訓後的目標能力	直接上手Hadoop工做，具有直接勝任Hadoop開發工程師的能力和系統管理員的能力。
培訓技能目標	• 完全理解Hadoop 表明的雲計算實現技術的能力 • 具有構建並駕馭Hadoop集羣能力 • 具有修改Hadoop框架的能力 • 具有開發本身網盤的能力 • 具有修改HDFS具體源碼實現的能力 • 從代碼的角度剖析MapReduce執行的具體過程並具有開發MapReduce代碼的能力 • 具有掌握Hadoop如何把HDFS文件轉化爲Key-Value讓供Map調用的能力 • 具有掌握MapReduce內部運行和實現細節並改造MapReduce的能力 • 具體Hadoop企業管理員的實際能力 • 具有理解並經過命令行和Java兩種方式操做ZooKeeper的能力 • 具有掌握HBase企業級開發和管理的能力 • 具有掌握Pig企業級開發和管理的能力 • 具有掌握Hive企業級開發和管理的能力 • 具有使用Sqoop自由轉換傳統關係型數據庫和HDFS中數據的能力 • 具有使用Flume收集和管理分佈式日誌的能力 • 具有掌握Hadoop完整項目的分析、開發、部署的全過程的能力
培訓職業目標	• Hadoop工程師，可以開發任意複雜程度的Hadoop分佈式應用 • Hadoop管理員，可以構建並管理Hadoop集羣 • Hadoop框架源碼研究和修改的能力 • Hadoop完整項目的分析、開發、部署的全過程的能力

 

培訓內容

 

時間	內容	備註
第一天	第1個主題：Hadoop三問（完全理解Hadoop） 一、 Hadoop爲何是雲計算分佈式大數據的事實開源標準軟件框架？ 二、Hadoop的具體是如何工做？ 三、Hadoop的生態架構和每一個模塊具體的功能是什麼？   第2個主題：Hadoop集羣與管理（具有構建並駕馭Hadoop集羣能力） 一、 Hadoop集羣的搭建 二、 Hadoop集羣的監控 三、 Hadoop集羣的管理 四、 集羣下運行MapReduce程序   第3主題：完全掌握HDFS(具有開發本身網盤的能力) 一、HDFS體系架構剖析      二、NameNode、DataNode、SecondaryNameNode架構 三、保證NodeName高可靠性最佳實踐 四、DataNode中Block劃分的原理和具體存儲方式 五、修改Namenode、DataNode數據存儲位置 六、使用CLI操做HDFS 七、使用Java操做HDFS   第4主題：完全掌握HDFS(具有修改HDFS具體源碼實現的能力) 一、RPC架構剖析   二、源碼剖析Hadoop構建於RPC之上 三、源碼剖析HDFS的RPC實現 四、源碼剖析客戶端與與NameNode的RPC通訊
時間	內容	備註
次日	第1個主題：完全掌握MapReduce（從代碼的角度剖析MapReduce執行的具體過程並具有開發MapReduce代碼的能力） 一、MapReduce執行的經典步驟    二、wordcount運行過程解析 三、Mapper和Reducer剖析 四、自定義Writable 五、新舊API的區別以及如何使用就API 六、把MapReduce程序打包成Jar包並在命令行運行   第2個主題：完全掌握MapReduce（具有掌握Hadoop如何把HDFS文件轉化爲Key-Value讓供Map調用的能力） 一、 Hadoop是如何把HDFS文件轉化爲鍵值對的？ 二、 源碼剖析Hadoop讀取HDFS文件並轉化爲鍵值對的過程實現 三、 源碼剖析轉化爲鍵值對後供Map調用的過程實現   第3個主題：完全掌握MapReduce（具有掌握MapReduce內部運行和實現細節並改造MapReduce的能力） 一、 Hadoop內置計數器及如何自定義計數器 二、 Combiner具體的做用和使用以及其使用的限制條件 三、 Partitioner的使用最佳實踐 四、 Hadoop內置的排序算法剖析 五、 自定義排序算法 六、 Hadoop內置的分組算法 七、 自定義分組算法 八、 MapReduce常見場景和算法實現   第4個主題：Hadoop集羣高級實踐(具體Hadoop企業管理員的實際能力) 一、 動態增長Hadoop的Slave節點 二、 動態修改Hadoop的Replication數目 三、 使用命令管理Hadoop集羣實踐 四、 剖析Hadoop的安全模式 五、 日誌剖析實踐
時間	內容	備註
第三天	第1個主題：實戰ZooKeeper（具有理解並經過命令行和Java兩種方式操做ZooKeeper的能力） 一、ZooKeeper架構剖析及集羣搭建 二、使用命令行操做ZooKeeper 三、使用Java操做ZooKeeper   第2個主題：實戰HBase（具有掌握HBase企業級開發和管理的能力） 一、 HBase架構實現 二、 HBase的數據模型和存儲模型 三、 使用CLI操做HBase 四、 使用Java操做HBase 五、 使用MapReduce代碼向HBase中導入批量數據   第3個主題：實戰Pig（具有掌握Pig企業級開發和管理的能力） 一、 Pig架構 二、 使用Pig操做數據的內幕 三、 使用Pig實例數據   第4個主題：實戰Hive(具有掌握Hive企業級開發和管理的能力) 一、 Hive架構剖析 二、 Hive在HDFS中存儲實現 三、 使用MySQL做爲Hive的Metastore 四、 內部表、分區表、外部表、桶表 五、 視圖 六、 自定義Hive的函數
時間	內容	備註
第四天	第1個主題：實戰Sqoop（具有使用Sqoop自由轉換傳統關係型數據庫和HDFS中數據的能力） 一、Sqoop架構                                               二、實戰Sqoop把MySQL中的數據導入到HDFS中 三、實戰Sqoop把HDFS中的數據導入到MySQL中 四、定義Sqoop任務   第2個主題：實戰Flume（具有使用Flume收集和管理分佈式日誌的能力） 一、 Flume架構體系剖析 二、 Agent配置信息 三、 動態監控文件夾中文件的變化 四、 把數據導入到HDFS中 五、 實例監控文件夾文件的變化並把數據導入到HDFS中   第3個主題：Hadoop系統管理進階（具有掌握MapReduce內部運行和實現細節並改造MapReduce的能力） 一、 Hadoop的安全模式 二、 系統監控 三、 系統維護 四、 委任節點和接觸節點 五、 系統升級 六、 更多的系統管理工具實戰 七、 系統管理最佳實踐   第4個主題：電信日誌項目（具有掌握Hadoop完整項目的分析、開發、部署的全過程的能力） 經過電信商蒐集用戶接打電話、上網等產生的日誌對用戶的電話和網絡行爲進行分析和監控，初步貫穿前面講解的主要內容，使你們熟悉Hadoop一個完整項目的分析、開發、部署的全過程。