王家林的81門一站式雲計算分佈式大數據&移動互聯網解決方案課程第二門課程：雲計算分佈式大數據Hadoop數據庫管理員企業級動手實踐

一：課程介紹

   數據庫管理人員如何管理分佈式的海量數據，是雲計算時代的數據庫從業人員面臨的核心問題之一，Hadoop提出瞭解決方案。

   本課程從數據庫管理人員與系統管理人員的職業角度出發，從動手搭建Hadoop集羣環境開始，涉及Hadoop集羣的配置、維護、管理、監控、運維、測試、優化等主題，並細緻剖析Hive數據倉庫集羣和優化等主題，幫助傳統的數據庫管理人員和系統管理人員輕鬆使用Hadoop架構大規模的數據。

二：課程特點

1，     深刻理解Hadoop技術架構；

2，     完全全面清晰的理解Hadoop運做機制；

3，     可以獨立規劃及部署生產環境的Hadoop集羣；

4，     掌握Hadoop基本運維思路和方法；

5，     對Hadoop集羣進行管理和優化；

 

三：適合對象：

   數據庫管理員(DBA)；

   公司的系統管理員；

   想轉型的DBA;

四：基礎要求

   瞭解Linux系統；

   瞭解網絡；

   瞭解 shell sql python 等腳本語言的一種；   

五：講師簡介

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

   

 

六：培訓內容

 

時間	內容	備註
第一天 （集羣安裝和管理）	第1個主題：Hadoop的來源和動機 1.傳統大規模系統存在的問題 2.對一種新的解決方案的需求   第2個主題：Hadoop安裝和部署準備 Hadoop系統模塊組件概述 Hadoop試驗集羣的部署結構 Hadoop 安裝依賴關係 Hadoop 生產環境的部署結構   第3個主題：Hadoop集羣安裝和部署 Red hat Linux基礎環境搭建 上機實驗 Hadoop 單機系統版本 安裝配置 上機實驗 Hadoop 集羣系統版本 安裝和啓動配置 上機實驗 Hadoop 集羣異常Debug 方法 Hadoop 集羣簡單測試方法 使用 Hadoop MapReduce Streaming 快速測試系統   第4個主題：Hadoop組件詳解 Hadoop HDFS 基本結構 Hadoop HDFS 副本存放策略 Hadoop NameNode 詳解 Hadoop SecondaryNameNode 詳解 Hadoop DataNode 詳解 Hadoop JobTracker 詳解 Hadoop TaskTracker 詳解   第5個主題：Hadoop集羣配置詳解 Hadoop core-site,hdfs-site,mapred-site 配置詳解 2. Hadoop 高可用配置方法
時間	內容	備註
次日（集羣優化和管理）	第1個主題：Hadoop集羣配置:機架感知,開啓壓縮和任務均衡 Hadoop 集羣安裝和開啓LZO壓縮 Hadoop 配置集羣具有機架感知 Hadoop 集羣開啓公平任務調度器 Hadoop 集羣開啓能力任務調度器   第2個主題：Hadoop 集羣維護與管理 查看集羣狀態 HDFS數據管理 Mapreduce 任務管理 HDFS安全模式 模擬集羣Namenode,jobtrack失效 添加刪除節點 數據平衡 文件數據跨集羣拷貝 集羣升級   第3個主題：Hadoop 集羣規劃和測試 集羣規劃(硬件,系統,網絡) 2. 集羣性能測試   第4個主題：Hadoop 集羣監控和運維 1. 使用Ganglia 監控Hadoop集羣 2. 使用Cacti 監控操做系統   第5個主題：Hadoop HDFS高可用 Hadoop 元數據NFS備份方案 2. Hadoop SecondaryNameNode備份方案 3. Hadoop CheckpointNode備份方案 4. Hadoop BackupNode備份方案 5. Hadoop Cloudera HA Namenode 方案
時間	內容	備註
第三天（Hive數據倉庫）	第1個主題：Hive倉庫集羣 Hive的做用和原理說明 倉庫和傳統數據倉庫的協做關係 Hadoop/Hive倉庫數據數據流 Hive 部署和安裝 Hive Cli 的基本用法 HQL基本語法   第2個主題：Hive倉庫集羣高級 使用JDBC 鏈接Hive進行查詢和分析 使用正則表達式加載數據 HQL高級語法 編寫UDF函數 編寫UDAF自定義函數   第3個主題：Hive倉庫優化 使用Hive分區優化查詢 使用Lzo壓縮優化數據存儲容量 HiveServer HA (使用haproxy提升HiveServer可用性) 編寫Hive自定義MapReduce腳本優化查詢 Hive數據傾斜和查詢性能優化   第4個主題：Hive倉庫外圍系統 使用Sqoop進行數據分析 使用oozie配置工做流 phpHiveAdmin 安裝和使用