奈學教育《大數據開發工程師》課程大綱

本課程針對企業不一樣數據規模技術方案進行講解，緊貼企業熱門需求，深刻講解企業級大數據技術的數據存儲技術、數據採集技術、數據處理技術、任務調度技術等；課程針對知識點進行企業級案例式教學，理論結合實戰，從0到1構建大數據生態技術的方方面面，內容涵蓋大數據平臺、Spark、Flink、OLAP等核心技術；用真實的企業級實時數倉項目、離線數倉項目、PB級實時用戶行爲分析系統、千億級實時廣告系統等多個大型項目，把大數據生態技術知識串連起來，讓學員造成本身的技術棧，真正成爲企業級的大數據開發工程師！

階段一：小規模數據處理篇
第一單元
掌握Python基礎語法

1. 集合類型
2. 條件，循環
3. 文件操做
4. 函數和函數式編程
5. 面向對象

第二單元
掌握NumPy進行數據分析

1. NumPy基本使用
2. Numpy進階知識
   第三單元
   掌握Pandas進行數據分析
3. Pandas基礎知識
4. Series數據結構
5. DataFrame數據結構
6. 綜合案例演示
   階段二：中等規模數據處理篇
   第四單元
   掌握Elastichsearch核心設計
7. Elastichsearch整體架構設計
8. Elastichsearch核心流程分析
9. Elastichsearch核心概念詳解
   第五單元
   掌握Elastichsearch API使用與調優
10. Elastichsearch語法詳解
11. Elastichsearch容錯原理剖析
12. Elastichsearch性能調優
    第六單元
    掌握ELK生態針對中等數據規模的方案實踐
13. Logstash原理剖析與實戰
14. Kibana原理剖析與實戰
15. 企業級海量日誌分析系統實戰
    階段三：大數據基礎平臺篇
    第七單元
    掌握ZooKeeper核心設計與應用
16. ZooKeeper架構設計原理
17. ZooKeeper核心讀寫流程剖析
18. ZooKeeper企業應用場景實戰
    第八單元
    掌握HDFS核心架構原理
19. 大數據基礎知識
20. HDFS架構設計原理
    第九單元
    掌握HDFS企業級架構方案設計
21. HDFS高可用架構設計
22. HDFS聯邦架構設計
23. HDFS企業級集羣部署
    第十單元
    掌握MapReduce分佈式計算模型
24. MapReduce核心原理剖析
25. MapReduce Shuffle機制深度剖析
26. MapReduce案例實操
    第十一單元
    掌握YARN任務調度模型
27. YARN架構設計原理
28. YARN核心運行流程
    階段四：大數據存儲篇
    第十二單元
    掌握Hive核心架構設計
29. Hive生態體系
30. Hive集羣安裝
31. HQL語法精講
    第十三單元
    掌握Hive企業實操
32. Hive函數精講
33. Hive執行原理深度剖析
    第十四單元
    掌握Hive企業級解決方案
34. Hive企業級調優
35. Hive企業高頻業務場景剖
    第十五單元
    掌握HBase核心架構原理
36. HBase架構設計原理剖析
37. HBase數據模型
38. HBase數據模型
39. HBase讀寫原理剖析
40. HBase企業級集羣分佈式部署
    第十六單元
    握HBase企業設計方案
41. HBase表設計
42. HBase RowKey設計
43. HBase二級索引方案實踐
    第十七單元
    掌握Kafka核心架構設計
44. Kafka架構設計原理
45. Kafka核心概念深度剖析
    第十八單元
    掌握Kafka架構設計優點與運維
46. Kafka架構設計優點
47. Kafka集羣部署與運維
    第十九單元
    掌握Kafka客戶端原理與性能調優
48. Kafka生產者原理深度剖析
49. Kafka消費者原理
50. Kafka性能調優
    階段五：大數據採集篇
    第二十單元
    掌握Flume/Sqoop日誌採集系統實踐
51. Sqoop核心原理剖析
52. Sqoop企業案例實操
53. Flume核心原理剖析
54. Flume企業案例實操
    階段六：任務調度篇
    第二十一單元
    掌握Azkaban任務調度實踐
55. Azkanban架構原理
56. Azkanban企業案例實操
    階段七：大數據處理篇
    第二十二單元
    掌握SparkCore核心原理（上）
57. Spark任務運行流程
58. RDD核心原理剖析
59. Spark任務運行模式
60. Spark核心算子案例實踐
61. Spark企業級集羣分佈式部署
    第二十三單元
    掌握SparkCore核心原理（下）
62. 廣播變量與累加變量原理剖析
63. 窄依賴和寬依賴原理剖析
64. Stage劃分算法
65. Spark內存模型
    第二十四單元
    掌握SparkCore企業級調優
66. SparkCore企業級調優實踐
    第二十五單元
    掌握SparkSQL核心原理與實踐
67. SparkSQL的前世此生
68. DataFrame核心原理剖析
69. DataSet核心原理剖析
70. UDF/UDAF案例實踐
    第二十六單元
    掌握SparkStreaming核心原理
71. SparkStreaming任務運行流程
72. DStream核心抽象原理剖析
    第二十七單元
    掌握SparkStreaming核心API企業實踐
73. SparkStreaming高階函數實操
74. SparkStreaming容錯分析
    第二十八單元
    掌握SparkStreaming企業應用
75. SparkStreaming企業級數據令零丟失方案設計
76. SparkStreaming企業級監控告警方案設計
    第二十九單元
    掌握Flink任務調度原理與資源分配
77. Streaming運行原理
78. 數據傳輸策略
79. Flink並行度&Task原理剖析
80. Flink資源調度原理剖析
81. Flink集羣分佈式部署
    第三十單元
    掌握Flink-Streaming State核心設計與實踐
82. State類型深度剖析
83. State核心原理深度剖析
84. Checkpoint & Savepoint企業實踐
    第三十一單元
    掌握Flink-Streaming WasterMark核心設計與實踐
85. Time時間類型詳解
86. 有序事件與無序事件
87. WaterMark原理剖析與實踐
    第三十二單元
    掌握Flink-Streaming Window核心設計與實踐
88. Window原理深度剖析
89. Window觸發原理深度剖析與實踐
    第三十三單元
    掌握Flink-Streaming企業應用
90. 綜合案例實踐
    第三十四單元
    掌握Flink SQL企業實踐
91. 1. Flink SQL編程詳解
92. Flink SQL動態表與連續表
93. 表流轉模式剖析
94. Flink SQL案例實踐
    第三十五單元
    掌握Druid架構原理與實踐
95. Druid架構設計原理
96. Druid案例實踐
    第三十六單元
    掌握Kylin架構原理與實踐
97. Kylin架構設計原理
98. Kylin案例實踐
    第三十七單元
    掌握ClickHouse架構原理與實踐
99. ClickHouse架構設計原理
100. ClickHouse案例實踐贈送知識第一單元企業級大數據集羣部署和運維篇1.Ambari功能概述2.Ambari架構設計3.Ambari基礎環境準備4.企業級集羣部署安裝5.企業級集羣管理和實踐6.ClouderaManager產生背景7.ClouderaManager架構設計8.企業級集羣規劃9.ClouderaManager基礎環境準備10.企業級ClouderaManager集羣部署安裝11.企業級CDH集羣運維管理第二單元 Java知識準備 1.Java基礎知識2.循環語句3.面向對象4.Java集合5.Java多線程6.Java IO詳解7.Java NIO詳解8.綜合案例實踐第三單元Scala知識準備 2.變量3.數據類型4.方法和函數5.數組6.類的定義7.構造函數8.Scala對象9.Trait10.Scala模式匹配11.隱式轉換12.上界和下界13.Actor14.綜合案例實踐第四單元Linux/Shell知識準備1.Linux操做系統介紹2.Vmware安裝和介紹3.Linux命令分類4.Linux命令詳解5.vi編輯器詳解6.用戶和組7.權限管理8.crontab管理9.網絡10文本處理11.SSH協議12.Shell編程