Cloudera Hadoop 4系列實戰課程(電商業日誌流量分析項目)

hadoop簡介及工資水平：

     目前Hadoop的應用愈來愈普遍，不少企業都開始採用，Hadoop人才也很稀缺和搶手，待遇和遠比Java、.Net開發好。本系列課講解目前主流的Hadoop版本Cloudera Hadoop 4（這裏採用cdh4.1），該版本相比0.20.x,性能和穩定性上提升不少。cdh4環境搭建相比舊版本也複雜不少，但能夠用cloudera-manager對集羣進行管理和配置。CDH4默認集成了經常使用的全部組件如Hive、Sqoop、HBase、Hue、Pig、Flume、Mahout、Zookeeper等，從而造成一功能強大的分佈式平臺。

本課會分享一些本人所在團隊自研的適用於企業級開發和應用的框架和工具，這些有效提升了開發效率，大大下降了維護成本，這些正是咱們多年實戰的結晶。

 

課程大綱及內容簡介:

 

每節課約35分鐘，共不下40講

 

第一章（9講）

·cloudera manager 介紹和安裝
·chd4.1 介紹
·chd4.1 安裝
·chd4.1 集羣環境搭建、相關組件安裝
·cloudera manager管理集羣
·cloudera manager下集羣高級管理

 

第二章（約10講）

·Hive原理
·Hive元數據管理
·Hive數據表和數據存儲
·Hive的Java擴展開發
·Hive UDF和UDAF開發
·Hive JDBC鏈接
·Hive常見場景，實戰練習
·Hive -f 傳參框架開發
 因爲hive自帶命令hive -f沒法傳參數，致使hive跨文件的使用基本癱瘓，
 沒法大量推廣。該框架能夠任意傳參，讓hive企業級應用開發更高效和簡潔。

第三章（約5講）

·Sqoop原理
·Sqoop使用詳解
·用Sqoop實現HDFS/Hive與關係數據庫的數據交互
·用Sqoop實現HBase與關係數據庫的數據交互

第四章（約8講）

·Hbase原理
·Hbase系統架構
·Hbase存儲機制
·Hbase基本使用
·Hbase表設計思路和方案
·常見應用場景
·和Hive交互
·Java訪問、WEB開發

第五章 項目實戰（約8講）

電商業日誌流量分析項目，互聯網企業對海量日誌的分析是Hadoop應用的一個重要用途，也是對網站流量、客戶行爲分析的重要途徑。該項目整合Hive、Hbase、Sqoop等經常使用組件，涉及從後臺處理到前臺呈現的每個技術環節。
包括：
 ·業務需求介紹
 ·數據建模
 ·後臺算法設計
 ·後臺業務處理
 ·前臺WEB展現等
 ...
 

課程詳細大綱列表:

 

第一講：Cloudera Manager介紹與安裝
第二講：Cloudera Manager詳解
第三講：CDH4.1介紹與環境搭建一
第四講：CDH4.1環境搭建二
第五講：CDH4.1集羣搭建一
第六講：CDH4.1集羣搭建二
第七講：CM下CDH4.1集羣高級管理一
第八講：CM下CDH4.1集羣高級管理二
第九講：小結及Hadoop工做原理
第十講：Hive工做原理和基本使用
第十一講：Hive元數據管理和語法詳解
第十二講：Hive表和存儲結構
第十三講：運維案例分享_單機存儲均衡和壞block處理
第十四講：Hive QL 一
第十五講：Hive QL 二
第十六講：UDF和UDAF開發
第十七講：UDAF開發和JDBC訪問
第十八講：Hive優化規則總結
第十九講：Hive數據壓縮技術
第二十講：Hive-f封裝支持傳參一
第二十一講：Hive-f封裝支持傳參二
第二十二講：Sqoop使用一
第二十三講：Sqoop使用二
第二十四講：Sqoop做業調度
第二十五講：HBase體系結構
第二十六講：HBase 表設計案例
第二十七講：HBase數據加載(Sqoop和Java)
第二十八講：HBase存儲機制
第二十九講：Java操做HBase一
第三十講：Java操做HBase二
第三十一講：Java操做HBase三
第三十二講：hbase與Hive接口及項目介紹
第三十三講：訂單在線實時查詢_Schema設計和HBase數據加載
第三十四講：訂單在線實時查詢_DAO層實現
第三十五講：訂單在線實時查詢_DAO層和前臺實現
第三十六講：電商日誌流量分析_項目介紹
第三十七講：電商日誌流量分析_業務實現一
第三十八講：電商日誌流量分析_業務實現二
第三十九講：電商日誌流量分析_業務實現三
第四十講：電商日誌流量分析_業務實現四

免費視頻教程：http://yunpan.cn/QUcswXD9uITQW

想要更多的免費技術視頻或是技術問題探討，請加qq2310519624