王家林的81門一站式雲計算分佈式大數據&移動互聯網解決方案課程第一門課程：雲計算分佈式大數據Hadoop企業級開發動手實踐

一：課程簡介：

    Hadoop是雲計算分佈式大數據的事實標準軟件框架，Hadoop中的架構實現是整個雲計算產業技術的基礎，做爲與Google三大核心技術DFS、MapReduce、BigTable相對的HDFS、MapReduce、和HBase也是整個Hadoop生態系統的核心的技術，本課程致力於幫您掌握這三大技術的同時掌握雲計算的數據倉庫挖掘技術Hive，助您在雲計算技術時代自由翱翔。

二：課程特點

1，      深刻淺出中動手實做；

2，      掌握Hadoop三大核心：HDFS、MapReduce、和HBase；

3，      掌握數據倉庫和挖掘技術Hive；

4，      理解業界的成功典範亞馬遜雲計算

 

 

三：適合對象：

   軟件工程師；

    數據庫開發人員；

    網絡後臺開發人員；

    運維人員；

四：基礎要求

   瞭解Linux系統；

    瞭解網絡；

    瞭解Java；

五：講師簡介

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

 

六：培訓內容

 

時間	內容	備註
第一天	第1個主題：雲計算的三大核心技術 1. HDFS 2. MapReduce 3. Hadoop   第2個主題：Hadoop集羣與管理 一、 Hadoop集羣的搭建 二、 Hadoop集羣的監控 三、 Hadoop集羣的管理 四、 集羣下運行MapReduce程序   第3主題：MapReduce剖析 1. MapReduce的原理和運行過程   2. 構建MapReduce的開發環境   第4主題：MapReduce案例實戰 1. 使用MapReduce的Java接口實現經典的WordCount  2. wordcount運行過程解析 3. MapReduce實現數據去重操做 4. MapReduce實現數據排序 5. MapReduce實現數據平均數據的計算   第5題：在亞馬遜EC2上運行MapReduce程序 1. 將本地代碼轉移到亞馬遜EC2上 2. 操做亞馬遜Hadoop集羣上的數據 3. 清空和關閉EC2實例   第6題：Amazon EMR 1. Amazon EMR 2. 亞馬遜AWS導入/導出   第7個主題：HDFS 1. HDFS命令行操做實戰 2. HDFS的配置管理 3. NameNode的工做機制   第8個主題：HDFS案例實戰 1. HDFS案例的分析和設計 2. 環境搭建 3.使用Hadoop Java API實現對HDFS寫入、讀取、刪除文件等操做   第9個主題：MapReduce剖析 1. MapReduce的原理和運行過程   2. 構建MapReduce的開發環境
時間	內容	備註
次日	第1個主題：MapReduce案例實戰 1. 使用MapReduce的Java接口實現經典的WordCount  2. wordcount運行過程解析 3. MapReduce實現數據去重操做 4. MapReduce實現數據排序 5. MapReduce實現數據平均數據的計算   第2個主題：HBase架構設計和實現剖析 一、 HBase定義 二、 HBase與RDBMS的對比 三、 數據模型 四、 系統架構 五、 HBase上的MapReduce 六、 表的設計   第3個主題：HBase集羣及其管理 一、 集羣的搭建過程講解 二、 集羣的監控 三、 集羣的管理   第4個主題：HBase客戶端 一、 HBase Shell以及演示 二、 Java客戶端以及代碼演示   第5個主題：HBase與MapReduce 1. HBase與MapReduce的關係 2. HBase如何使用MapReduce   第6個主題：MapReduce高級實戰 1. Split實現剖析 2. 自定義輸入的實現 3. Reduce的partition  4. 案例實戰   第7個主題：安裝和使用Hive 1. Hive剖析 2. 安裝Hive 3.Hive的基本使用   第8個主題：Hive與HDFS、MapReduce 1. Hive向HDFS存入結構化數據 2. 使用MySQL做爲Hive的元數據庫 3.Hive與MapReduce   第9個主題：Hive 1. Hive的Java擴展開發 2. Hive UDF和UDAF開發 3. Hive常見場景，實戰練習   第10個主題：Sqoop 1. Sqoop原理 2. Sqoop使用詳解 3. 用Sqoop實現HDFS/Hive與關係數據庫的數據交互 4. 用Sqoop實現HBase與關係數據庫的數據交互   第11個主題：Hadoop開發者之路 1. Hadoop技能模型 2. Hadoop開發者最佳學習路線和方式 3.Hadoop開發者最佳成長路線