王家林的81門一站式雲計算分佈式大數據&移動互聯網解決方案課程第七門課程：雲計算分佈式大數據Hive數據倉庫最佳實踐

一：課程簡介：

    或許Hive會是數據倉庫的終結者……

     做爲企業Hadoop應用的核心產品，Hive承載着FaceBook、淘寶等大佬 95%以上的離線統計，不少企業裏的離線統計甚至全由Hive完成.

    Hive可讓你輕鬆的在Hadoop中存儲、查詢和分析海量數據。

二：課程特點

1，      深刻淺出中動手實做；

2，      對Hive深刻淺出的剖析；

3，      掌握Hive的優化技術；

4，      Hive和亞馬遜雲計算

 

 

三：適合對象：

   軟件工程師；

    數據庫開發人員；

    網絡後臺開發人員；

    運維人員；

四：基礎要求

   瞭解Linux系統；

    瞭解網絡；

    瞭解Java；

五：講師簡介

王家林：

Hadoop源碼級專家，曾負責某知名公司的類Hadoop框架開發工做，專一於Hadoop一站式解決方案的提供，同時也是雲計算分佈式大數據處理的最先實踐者之一，Hadoop的狂熱愛好者，不斷的在實踐中用Hadoop解決不一樣領域的大數據的高效處理和存儲，如今正負責Hadoop在搜索引擎中的研發中國電信的屢次Hadoop培訓，花旗銀行的Hadoop內訓，金立手機的Hadoop內訓等，著有《雲計算分佈式大數據Hadoop實戰高手之路---從零開始》《雲計算分佈式大數據Hadoop實戰高手之路---高手崛起》《雲計算分佈式大數據Hadoop。實戰高手之路---高手之巔》等；

Android架構師、高級工程師、諮詢顧問、培訓專家；     

通曉Android、HTML五、Hadoop，迷戀英語播音和健美；

致力於Android、HTML五、Hadoop的軟、硬、雲整合的一站式解決方案；

國內最先（2007年）從事於Android系統移植、軟硬整合、框架修改、應用程序軟件開發以及Android系統測試和應用軟件測試的技術專家和技術創業人員之一。

HTML5技術領域的最先實踐者（2009年）之一,成功爲多個機構實現多款自定義HTML5瀏覽器，參與某知名的HTML5瀏覽器研發；

超過10本的IT暢銷書做者；

 

六：培訓內容

 

時間	內容	備註
第一天	第1個主題：雲計算的四大核心技術 1. HDFS 2. MapReduce 3. HBase 4.Hive   第2個主題：Hive集羣與管理 一、 Hadoop集羣的搭建 二、 Hadoop集羣的監控 三、 Hadoop集羣的管理 四、 集羣下運行MapReduce程序 五、安裝並啓動Hive 六、測試Hive   第3主題：Hive的命令、數據類型和文件格式 1. Hive的CLI 2. Hive的集合數據類型 3．編碼和模式   第4主題：開發Hive 1. 鏈接Java調試器到Hive    2. 經過Eclipse來開發Hive代碼 3. Hive的單元測試   第5題：HQL 1. HQL的數據定義 2. 使用HQL操做數據 3. 深刻HQL查詢   第6題：HQL的視圖和索引 HQL的視圖：下降查詢的複雜度和限定特定的條件 2. HQL的索引：索引的建立和管理、定製索引
時間	內容	備註
次日	第1個主題：Hive中的函數 1. 使用Hive中已有的函數 2. 自定義聚合函數 3. 自定義表生成函數 4. 在自定義函數中訪問緩存   第2個主題：Hive的存儲過程 一、爲什麼須要Hive中的存儲過程 二、 在後臺中運行的存儲過程 三、HiveStorageHandler 四、 存儲過程的具體編寫和使用   第3個主題：Hive架構優化 一、 下降IO負載 二、 表的分區、動態分區 三、 壓縮 四、分佈式緩存   第4個主題：完全優化HQL 一、 HQL優化的具體策略和方式 二、 Map和Reduce 三、數據傾斜 4，執行計劃   第5個主題：在AWS上使用Hive 1. 使用並管理EMR Hive集羣 2. EMR集羣的詳細配置 3．持久層、元數據 4.集羣中的HDFS和S3(配置、日誌等)   第6個主題：Hive的Thrift 1. 配置、啓動、使用Thrift 2. Thrift的管理 3. 管理Hive Server 4.ThriftMetaStore

 

east-tI�0-o��(p� fareast;mso-bidi-font-family: 宋體;color:green;letter-spacing:.2pt;mso-fareast-language:ZH-CN'>MongoDB的性能調優

 

1. 性能調優的策略思考

2.由查詢和索引帶來的新能調優

3.內存在性能調優中的使用

4.提高磁盤的性能

5．擴展