王家林的81門一站式雲計算分佈式大數據&移動互聯網解決方案課程第五門課程：雲計算分佈式大數據Hadoop最佳實踐

一：課程簡介：

Hadoop天生是解決大數據高併發問題的， 是一個可以對海量數據進行分佈式處理的軟件框架。互聯網企業、金融機構、政府組織和雲計算服務企業天天都會產生大量的數據並面臨高併發的嚴峻考驗，傳統的關係型數據庫已經沒法知足大數據量高併發的要求，做爲雲計算實現規範和實施標準的Hadoop應運而生。

使用Hadoop，用戶能夠在不瞭解分佈式底層細節的狀況下開發出分佈式程序，從而可使用衆多廉價的計算設備的集羣的威力來高速的運算和存儲，並且Hadoop的運算和存儲是可靠的、高效的、可伸縮的，可以使用普通的社區服務器出來PB級別的數據，是分佈式大數據處理的存儲的理想選擇。

「雲計算分佈式大數據Hadoop深刻淺出案例驅動實戰」基於實務經驗萃取而成，從Hadoop開發環境的搭建到到圖片服務器、WordCount實現、HBase微博系統、話單查詢與統計、Hive數據統計案例、電商業日誌流量分析項目理論結合實際案例，祝你輕鬆駕馭Hadoop以知足大數據的分佈式處理與存儲。

課程以MapReduce、HBase、Hive爲主軸，想理解和使用Hadoop，就必須掌握這三大核心。

二：課程特點

1，      案例驅動教學，全程項目實戰訓練：圖片服務器、WordCount實現、HBase微博系統、話單查詢與統計、Hive數據統計案例、電商業日誌流量分析；

2，      掌握Hadoop三大核心：MapReduce、HBase、Hive

3，      萃取出實際開發中最經常使用、最實用的內容並以深刻淺出的方式把難點化於無形之中

 

三：適合對象：

   軟件工程師；

    數據庫開發人員；

    網絡後臺開發人員；

    運維人員；

四：基礎要求

   瞭解Linux系統；

    瞭解網絡；

    瞭解Java；

五：講師簡介

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

；

 

六：培訓內容

 

時間	內容	備註
第一天	第1個主題：Hadoop思考 1.Hadoop的設計目標和適用場景 2.Hadoop架構解析 3.MapReduce工做原理和案例說明   第2個主題：Hadoop集羣與管理 一、 Hadoop集羣的搭建 二、 Hadoop集羣的監控 三、 Hadoop集羣的管理 四、 集羣下運行MapReduce程序   第3個主題：HDFS 1. HDFS命令行操做實戰 2. HDFS的配置管理 3. NameNode的工做機制   第4個主題：HDFS案例實戰 1. HDFS案例的分析和設計 2. 環境搭建 3.使用Hadoop Java API實現對HDFS寫入、讀取、刪除文件等操做   第5個主題：MapReduce剖析 1. MapReduce的原理和運行過程   2. 構建MapReduce的開發環境   第6個主題：MapReduce案例實戰 1. 使用MapReduce的Java接口實現經典的WordCount  2. wordcount運行過程解析 3. MapReduce實現數據去重操做 4. MapReduce實現數據排序 5. MapReduce實現數據平均數據的計算   第7個主題：HBase架構設計和實現剖析 一、 HBase定義 二、 HBase與RDBMS的對比 三、 數據模型 四、 系統架構 五、 HBase上的MapReduce 六、 表的設計   第8個主題：HBase集羣及其管理 一、 集羣的搭建過程講解 二、 集羣的監控 三、 集羣的管理   第9個主題：HBase客戶端 一、 HBase Shell以及演示 二、 Java客戶端以及代碼演示
時間	內容	備註
次日	第1個主題：HBase案例實戰1---使用HBase實現微博系統 1. 項目架構和設計 2. 開發環境搭建 3. 實現用戶登陸和註銷 4.「關注」功能的設計和實現 5.「發微博」功能的設計和實現 6.發佈和運行整個基於HBase的微博系統   第2個主題：HBase與MapReduce 1. HBase與MapReduce的關係 2. HBase如何使用MapReduce   第3個主題：HBase案例實戰2---話單查詢與統計 1. 項目架構設計 2. 開發環境搭建 3. 話單入庫和查詢的設計與實現 4.統計功能的設計與實現   第4個主題：MapReduce高級實戰 1. Split實現剖析 2. 自定義輸入的實現 3. Reduce的partition  4. 案例實戰   第5個主題：安裝和使用Hive 1. Hive剖析 2. 安裝Hive 3.Hive的基本使用   第6個主題：Hive與HDFS、MapReduce 1. Hive向HDFS存入結構化數據 2. 使用MySQL做爲Hive的元數據庫 3.Hive與MapReduce   第7個主題：Hive 1. Hive的Java擴展開發 2. Hive UDF和UDAF開發 3. Hive常見場景，實戰練習
時間	內容	備註
第三天	第1個主題：Hive案例實戰---數據統計 1. 項目架構設計 2. 表結構設計 3.數據的插入與統計實現   第2個主題：Sqoop 1. Sqoop原理 2. Sqoop使用詳解 3. 用Sqoop實現HDFS/Hive與關係數據庫的數據交互 4. 用Sqoop實現HBase與關係數據庫的數據交互   第3個主題：電商業日誌流量分析項目 電商業日誌流量分析項目，互聯網企業對海量日誌的分析是Hadoop應用的一個重要用途，也是對網站流量、客戶行爲分析的重要途徑。該項目整合Hive、Hbase、Sqoop等經常使用組件，涉及從後臺處理到前臺呈現的每個技術環節。包括： 1·業務需求介紹 2·數據建模 3·後臺算法設計 4·後臺業務處理 5·前臺WEB展現等   第4個主題：Hadoop開發者之路 1. Hadoop技能模型 2. Hadoop開發者最佳學習路線和方式 3.Hadoop開發者最佳成長路線