王家林的81門一站式雲計算分佈式大數據&移動互聯網解決方案課程第三門課程：雲計算分佈式大數據Hadoop征服之旅：HDFS&MapReduce&HBase&Hive&集羣管理

一：課程簡介：

做爲雲計算實現規範和實施標準的Hadoop恰逢其時的應運而生，使用Hadoop用戶能夠在不瞭解分佈式底層細節的狀況下開發出分佈式程序，從而可使用衆多廉價的計算設備的集羣的威力來高速的運算和存儲，並且Hadoop的運算和存儲是可靠的、高效，的、可伸縮的，可以使用普通的社區服務器出來PB級別的數據，是分佈式大數據處理的存儲的理想選擇。

本課程會助你深刻淺出的掌握Hadoop開發（包括HDFS、MapReduce、HBase、Hive等），而且在此基礎上掌握Hadoop集羣的配置、維護、管理、監控、運維、測試、優化等主題，理論結合實際案例；助你輕鬆駕馭Hadoop以知足大數據的分佈式處理與存儲。

二：課程特點

1，      一次性貫通Hadoop開發和集羣管理；

2，      掌握Hadoop四大焦點：MapReduce、HDFS、HBase、Hive

3，      涵蓋Hadoop集羣的配置、維護、管理、監控、運維、測試、優化等主題

4，      強調動手實戰

 

三：適合對象：

   軟件工程師；

    數據庫開發人員；

    網絡後臺開發人員；

    運維人員；

四：基礎要求

   瞭解Linux系統；

    瞭解網絡；

    瞭解Java；

五：講師簡介

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

 

六：培訓內容

 

時間	內容	備註
第一天	第1個主題：Hadoop思考 1.Hadoop的設計目標和適用場景 2.Hadoop架構解析 3.MapReduce工做原理和案例說明   第2個主題： Hadoop安裝和配置實戰 1. 安裝和配置單機版Hadoop實戰 2. 安裝和配置僞分佈式Hadoop實戰 3．安裝和配置分佈式Hadoop集羣實戰   第3個主題：HDFS 1. HDFS命令行操做實戰 2. HDFS的配置管理 3. NameNode的工做機制   第4個主題：HDFS案例實戰 1. HDFS案例的分析和設計 2. 環境搭建 3.使用Hadoop Java API實現對HDFS寫入、讀取、刪除文件等操做   第5個主題：MapReduce剖析 1. MapReduce的原理和運行過程   2. 構建MapReduce的開發環境   第6個主題：MapReduce案例實戰 1. 使用MapReduce的Java接口實現經典的WordCount  2. wordcount運行過程解析 3. MapReduce實現數據去重操做 4. MapReduce實現數據排序 5. MapReduce實現數據平均數據的計算
時間	內容	備註
次日	第1個主題：HBase架構設計和實現剖析 1. HBase架構設計 2. HBase中的表結構等 3. HBase：Master、Region、Region Server   第2個主題：HBase案例實戰1---使用HBase實現微博系統 1. 項目架構和設計 2. 開發環境搭建 3. 實現用戶登陸和註銷 4.「關注」功能的設計和實現 5.「發微博」功能的設計和實現 6.發佈和運行整個基於HBase的微博系統   第3個主題：HBase與MapReduce 1. HBase與MapReduce的關係 2. HBase如何使用MapReduce   第4個主題：HBase案例實戰2---話單查詢與統計 1. 項目架構設計 2. 開發環境搭建 3. 話單入庫和查詢的設計與實現 4.統計功能的設計與實現   第5個主題：MapReduce高級實戰 1. Split實現剖析 2. 自定義輸入的實現 3. Reduce的partition  4. 案例實戰   第6個主題：安裝和使用Hive 1. Hive剖析 2. 安裝Hive 3.Hive的基本使用   第7個主題：Hive與HDFS、MapReduce 1. Hive向HDFS存入結構化數據 2. 使用MySQL做爲Hive的元數據庫 3.Hive與MapReduce   第8個主題：Hive案例實戰---數據統計 1. 項目架構設計 2. 表結構設計 3.數據的插入與統計實現
時間	內容	備註
第三天	第1個主題：Hadoop集羣配置:機架感知,開啓壓縮和任務均衡 Hadoop 集羣安裝和開啓LZO壓縮 Hadoop 配置集羣具有機架感知 Hadoop 集羣開啓公平任務調度器 Hadoop 集羣開啓能力任務調度器   第2個主題：Hadoop 集羣維護與管理 查看集羣狀態 HDFS數據管理 Mapreduce 任務管理 HDFS安全模式 模擬集羣Namenode,jobtrack失效 添加刪除節點 數據平衡 文件數據跨集羣拷貝 集羣升級   第3個主題：Hadoop 集羣規劃和測試 集羣規劃(硬件,系統,網絡) 2. 集羣性能測試   第4個主題：Hadoop 集羣監控和運維 1. 使用Ganglia 監控Hadoop集羣 2. 使用Cacti 監控操做系統   第5個主題：Hadoop HDFS高可用 Hadoop 元數據NFS備份方案 2. Hadoop SecondaryNameNode備份方案 3. Hadoop CheckpointNode備份方案 4. Hadoop BackupNode備份方案 Hadoop Cloudera HA Namenode 方案   第6個主題：Hadoop開發者之路 1. Hadoop技能模型 2. Hadoop開發者最佳學習路線和方式 3.Hadoop開發者最佳成長路線