大數據入門指南

項目GitHub地址：https://github.com/heibaiying/BigData-Notes

前 言

1. 大數據技術棧思惟導圖
2. 大數據經常使用軟件安裝指南

1、Hadoop

1. 分佈式文件存儲系統——HDFS
2. 分佈式計算框架——MapReduce
3. 集羣資源管理器——YARN
4. Hadoop單機僞集羣環境搭建
5. Hadoop集羣環境搭建
6. HDFS經常使用Shell命令
7. HDFS Java API的使用
8. 基於Zookeeper搭建Hadoop高可用集羣

2、Hive

1. Hive簡介及核心概念
2. Linux環境下Hive的安裝部署
3. Hive CLI和Beeline命令行的基本使用
4. Hive 經常使用DDL操做
5. Hive 分區表和分桶表
6. Hive 視圖和索引
7. Hive經常使用DML操做
8. Hive 數據查詢詳解

3、Spark

Spark Core :

1. Spark簡介
2. Spark開發環境搭建
3. 彈性式數據集RDD
4. RDD經常使用算子詳解
5. Spark運行模式與做業提交
6. Spark累加器與廣播變量
7. 基於Zookeeper搭建Spark高可用集羣

Spark SQL :

1. DateFrame 和 DataSet
2. Structured API的基本使用
3. Spark SQL外部數據源
4. Spark SQL經常使用聚合函數
5. Spark SQL JOIN 操做

Spark Streaming ：

1. Spark Streaming 簡介
2. Spark Streaming 基本操做
3. Spark Streaming 整合 Flume
4. Spark Streaming 整合 Kafka

4、Storm

1. Storm和流處理簡介
2. Storm核心概念詳解
3. Storm單機環境搭建
4. Storm集羣環境搭建
5. Storm編程模型詳解
6. Storm項目三種打包方式對比分析
7. Storm集成Redis詳解
8. Storm集成HDFS/HBase
9. Storm集成Kafka

5、Flink

TODO

6、HBase

1. Hbase 簡介
2. HBase系統架構及數據結構
3. HBase基本環境搭建(Standalone /pseudo-distributed mode)
4. HBase集羣環境搭建
5. HBase經常使用Shell命令
6. HBase Java API
7. Hbase 過濾器詳解
8. HBase 協處理器詳解
9. HBase 容災與備份
10. HBase的SQL中間層——Phoenix
11. Spring/Spring Boot 整合 Mybatis + Phoenix

7、Kafka

1. Kafka 簡介
2. 基於Zookeeper搭建Kafka高可用集羣
3. Kafka 生產者詳解
4. Kafka 消費者詳解
5. 深刻理解Kafka副本機制

8、Zookeeper

1. Zookeeper 簡介及核心概念
2. Zookeeper單機環境和集羣環境搭建
3. Zookeeper經常使用Shell命令
4. Zookeeper Java 客戶端——Apache Curator
5. Zookeeper ACL權限控制

9、Flume

1. Flume簡介及基本使用
2. Linux環境下Flume的安裝部署
3. Flume整合Kafka

10、Sqoop

1. Sqoop簡介與安裝
2. Sqoop的基本使用

11、Azkaban

1. Azkaban簡介
2. Azkaban3.x 編譯及部署
3. Azkaban Flow 1.0 的使用
4. Azkaban Flow 2.0 的使用

12、Scala

1. Scala簡介及開發環境配置
2. 基本數據類型和運算符
3. 流程控制語句
4. 數組——Array
5. 集合類型綜述
6. 經常使用集合類型之——List & Set
7. 經常使用集合類型之——Map & Tuple
8. 類和對象
9. 繼承和特質
10. 函數 & 閉包 & 柯里化
11. 模式匹配
12. 類型參數
13. 隱式轉換和隱式參數

十3、公共內容

1. 大數據應用經常使用打包方式

後 記

• 資料分享與開發工具推薦

項目GitHub地址：https://github.com/heibaiying/BigData-Notes