java轉大數據的學習路線(轉)

首先這個文章是轉載的，留着後面基礎再紮實一點以後開始學習，感謝原文的做者，寫出瞭如此清晰的學習路線。原文做者文章連接：http://www.javashuo.com/article/p-rtefjikl-do.html

【不要錯過文末彩蛋】

申明：

本文旨在爲普通程序員（Java程序員最佳）提供一個入門級別的大數據技術學習路徑，不適用於大數據工程師的進階學習，也不適用於零編程基礎的同窗。

---

前言：

• 1、背景介紹
• 2、大數據介紹

正文：

• 1、大數據相關的工做介紹
• 2、大數據工程師的技能要求
• 3、大數據學習規劃
• 4、持續學習資源推薦（書籍，博客，網站）
• 5、項目案例分析（批處理+實時處理）

---

前言

1、背景介紹

本人目前是一名大數據工程師，項目數據50T，日均數據增加20G左右，我的是從Java後端開發，通過3個月的業餘自學成功轉型大數據工程師。

2、大數據介紹

大數據本質也是數據，可是又有了新的特徵，包括數據來源廣、數據格式多樣化（結構化數據、非結構化數據、Excel文件、文本文件等）、數據量大（最少也是TB級別的、甚至多是PB級別）、數據增加速度快等。

針對以上主要的4個特徵咱們須要考慮如下問題：

1. 數據來源廣，該如何採集彙總？，對應出現了Sqoop，Cammel，Datax等工具。

2. 數據採集以後，該如何存儲？，對應出現了GFS，HDFS，TFS等分佈式文件存儲系統。

3. 因爲數據增加速度快，數據存儲就必須能夠水平擴展。

4. 數據存儲以後，該如何經過運算快速轉化成一致的格式，該如何快速運算出本身想要的結果？

   對應的MapReduce這樣的分佈式運算框架解決了這個問題；可是寫MapReduce須要Java代碼量很大，因此出現了Hive，Pig等將SQL轉化成MapReduce的解析引擎；

   普通的MapReduce處理數據只能一批一批地處理，時間延遲太長，爲了實現每輸入一條數據就能獲得結果，因而出現了Storm/JStorm這樣的低時延的流式計算框架；

   可是若是同時須要批處理和流處理，按照如上就得搭兩個集羣，Hadoop集羣（包括HDFS+MapReduce+Yarn）和Storm集羣，不易於管理，因此出現了Spark這樣的一站式的計算框架，既能夠進行批處理，又能夠進行流處理（實質上是微批處理）。

5. 然後Lambda架構，Kappa架構的出現，又提供了一種業務處理的通用架構。

6. 爲了提升工做效率，加快運速度，出現了一些輔助工具：

   • Ozzie，azkaban：定時任務調度的工具。
   • Hue，Zepplin：圖形化任務執行管理，結果查看工具。
   • Scala語言：編寫Spark程序的最佳語言，固然也能夠選擇用Python。
   • Python語言：編寫一些腳本時會用到。
   • Allluxio，Kylin等：經過對存儲的數據進行預處理，加快運算速度的工具。

以上大體就把整個大數據生態裏面用到的工具所解決的問題列舉了一遍，知道了他們爲何而出現或者說出現是爲了解決什麼問題，進行學習的時候就有的放矢了。

正文

1、大數據相關工做介紹

大數據方向的工做目前主要分爲三個主要方向:

1. 大數據工程師
2. 數據分析師
3. 大數據科學家
4. 其餘（數據挖掘等）

2、大數據工程師的技能要求

附上大數據工程師技能圖：

必須掌握的技能11條

1. Java高級(虛擬機、併發)
2. Linux 基本操做
3. Hadoop（HDFS+MapReduce+Yarn ）
4. HBase（JavaAPI操做+Phoenix ）
5. Hive(Hql基本操做和原理理解）
6. Kafka
7. Storm/JStorm
8. Scala
9. Python
10. Spark (Core+sparksql+Spark streaming ）
11. 輔助小工具(Sqoop/Flume/Oozie/Hue等)

高階技能6條

1. 機器學習算法以及mahout庫加MLlib
2. R語言
3. Lambda 架構
4. Kappa架構
5. Kylin
6. Alluxio

3、學習路徑

假設天天能夠抽出3個小時的有效學習時間，加上週末天天保證10個小時的有效學習時間；

3個月會有（21*3+4*2*10）*3=423小時的學習時間。

第一階段（基礎階段）

1）Linux學習（跟鳥哥學就ok了）—–20小時

1. Linux操做系統介紹與安裝。
2. Linux經常使用命令。
3. Linux經常使用軟件安裝。
4. Linux網絡。
5. 防火牆。
6. Shell編程等。

官網：https://www.centos.org/download/ 
中文社區：http://www.linuxidc.com/Linux/2017-09/146919.htm

2）Java 高級學習（《深刻理解Java虛擬機》、《Java高併發實戰》）—30小時

1. 掌握多線程。
2. 掌握併發包下的隊列。
3. 瞭解JMS。
4. 掌握JVM技術。
5. 掌握反射和動態代理。

官網：https://www.java.com/zh_CN/ 
中文社區：http://www.java-cn.com/index.html

3）Zookeeper學習（能夠參照這篇博客進行學習：http://www.cnblogs.com/wuxl360/p/5817471.html）

1. Zookeeper分佈式協調服務介紹。
2. Zookeeper集羣的安裝部署。
3. Zookeeper數據結構、命令。
4. Zookeeper的原理以及選舉機制。

官網：http://zookeeper.apache.org/ 
中文社區：http://www.aboutyun.com/forum-149-1.html

第二階段（攻堅階段）

4）Hadoop （《Hadoop 權威指南》）—80小時

1. HDFS

   • HDFS的概念和特性。
   • HDFS的shell操做。
   • HDFS的工做機制。
   • HDFS的Java應用開發。

2. MapReduce

   • 運行WordCount示例程序。
   • 瞭解MapReduce內部的運行機制。 
     • MapReduce程序運行流程解析。
     • MapTask併發數的決定機制。
     • MapReduce中的combiner組件應用。
     • MapReduce中的序列化框架及應用。
     • MapReduce中的排序。
     • MapReduce中的自定義分區實現。
     • MapReduce的shuffle機制。
     • MapReduce利用數據壓縮進行優化。
     • MapReduce程序與YARN之間的關係。
     • MapReduce參數優化。

3. MapReduce的Java應用開發

官網：http://hadoop.apache.org/ 
中文文檔：http://hadoop.apache.org/docs/r1.0.4/cn/ 
中文社區：http://www.aboutyun.com/forum-143-1.html

5）Hive（《Hive開發指南》）–20小時

1. Hive 基本概念

   • Hive 應用場景。
   • Hive 與hadoop的關係。
   • Hive 與傳統數據庫對比。
   • Hive 的數據存儲機制。

2. Hive 基本操做

   • Hive 中的DDL操做。
   • 在Hive 中如何實現高效的JOIN查詢。
   • Hive 的內置函數應用。
   • Hive shell的高級使用方式。
   • Hive 經常使用參數配置。
   • Hive 自定義函數和Transform的使用技巧。
   • Hive UDF/UDAF開發實例。

3. Hive 執行過程分析及優化策略

官網：https://hive.apache.org/ 
中文入門文檔：http://www.aboutyun.com/thread-11873-1-1.html 
中文社區：http://www.aboutyun.com/thread-7598-1-1.html

6）HBase（《HBase權威指南》）—20小時

1. hbase簡介。
2. habse安裝。
3. hbase數據模型。
4. hbase命令。
5. hbase開發。
6. hbase原理。

官網：http://hbase.apache.org/ 
中文文檔：http://abloz.com/hbase/book.html 
中文社區：http://www.aboutyun.com/forum-142-1.html

7）Scala（《快學Scala》）–20小時

1. Scala概述。
2. Scala編譯器安裝。
3. Scala基礎。
4. 數組、映射、元組、集合。
5. 類、對象、繼承、特質。
6. 模式匹配和樣例類。
7. 瞭解Scala Actor併發編程。
8. 理解Akka。
9. 理解Scala高階函數。
10. 理解Scala隱式轉換。

官網：http://www.scala-lang.org/ 
初級中文教程：http://www.runoob.com/scala/scala-tutorial.html

8）Spark （《Spark 權威指南》）—60小時

1. Spark core

   • Spark概述。
   • Spark集羣安裝。
   • 執行第一個Spark案例程序（求PI）。

2. RDD

   • RDD概述。
   • 建立RDD。
   • RDD編程API（Transformation 和 Action Operations）。
   • RDD的依賴關係
   • RDD的緩存
   • DAG（有向無環圖）

3. Spark SQL and DataFrame/DataSet

   • Spark SQL概述。
   • DataFrames。
   • DataFrame經常使用操做。
   • 編寫Spark SQL查詢程序。

4. Spark Streaming

   • park Streaming概述。
   • 理解DStream。
   • DStream相關操做（Transformations 和 Output Operations）。

5. Structured Streaming

6. 其餘（MLlib and GraphX ）

這個部分通常工做中若是不是數據挖掘，機器學習通常用不到，能夠等到須要用到的時候再深刻學習。

官網：http://spark.apache.org 
中文文檔（可是版本有點老）：https://www.gitbook.com/book/aiyanbo/spark-programming-guide-zh-cn/details 
中文社區：http://www.aboutyun.com/forum-146-1.html

9）Python (推薦廖雪峯的博客—30小時

10）本身用虛擬機搭建一個集羣，把全部工具都裝上，本身開發一個小demo —30小時

能夠本身用VMware搭建4臺虛擬機，而後安裝以上軟件，搭建一個小集羣（本人親測，I7，64位，16G內存，徹底能夠運行起來，如下附上我學習時用虛擬機搭建集羣的操做文檔）

---

集羣搭建文檔1.0版本

1. 集羣規劃

全部須要用到的軟件：

連接：http://pan.baidu.com/s/1jIlAz2Y 
密碼：kyxl

2. 前期準備

1.  
   2.0 系統安裝
2.  
    
3.  
   2.1 主機名配置
4.  
    
5.  
   2.1.0 vi /etc/sysconfig/network
6.  
   NETWORKING=yes
7.  
    
8.  
   2.1.1 vi /etc/sysconfig/network
9.  
   NETWORKING=yes
10.  
    HOSTNAME=ys02
11.  
     
12.  
    2.1.2 vi /etc/sysconfig/network
13.  
    NETWORKING=yes
14.  
     
15.  
    2.1.3 vi /etc/sysconfig/network
16.  
    NETWORKING=yes
17.  
    HOSTNAME=ys04
18.  
     
19.  
    2.2 host文件修改
20.  
    2.2.0 vi /etc/hosts
21.  
    10.1.1.149 ys01
22.  
    10.1.1.148 ys02
23.  
    10.1.1.146 ys03
24.  
    10.1.1.145 ys04
25.  
    2.3 關閉防火牆(centos 7默認使用的是firewall，centos 6 默認是iptables)
26.  
     
27.  
    2.3.0 systemctl stop firewalld.service （中止firewall）
28.  
     
29.  
    2.3.1 systemctl disable firewalld.service （禁止firewall開機啓動）
30.  
     
31.  
    2.3.2 firewall-cmd --state （查看默認防火牆狀態（關閉後顯示notrunning，開啓後顯示running）
32.  
     
33.  
    2.4 免密登陸(ys01 ->ys02,03,04)
34.  
    ssh-keygen -t rsa
35.  
    ssh-copy- id ys02(隨後輸入密碼)
36.  
    ssh-copy- id ys03（隨後輸入密碼）
37.  
    ssh-copy- id ys04（隨後輸入密碼）
38.  
    ssh ys02(測試是否成功)
39.  
    ssh ys03(測試是否成功)
40.  
    ssh ys04(測試是否成功)
41.  
     
42.  
    2.5 系統時區與時間同步
43.  
    tzselect（生成日期文件）
44.  
    cp /usr/ share/zoneinfo/Asia/Shanghai /etc/localtime（將日期文件copy到本地時間中）

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45

3. 軟件安裝

1.  
   3.0 安裝目錄規劃（軟件爲全部用戶公用）
2.  
    
3.  
   3.0.0全部軟件的安裝放到/usr/ local/ys/soft目錄下(mkdir /usr/local/ys/soft)
4.  
    
5.  
   3.0.1全部軟件安裝到/usr/ local/ys/app目錄下(mkdir /usr/local/ys/app)
6.  
    
7.  
   3.1 JDK（jdk1.7）安裝
8.  
    
9.  
   3.1.1 alt+p 後出現sftp窗口， cd /usr/local/ys/soft，使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
10.  
     
11.  
    3.1.2解壓jdk
12.  
    cd /usr/local/ys/soft
13.  
    #解壓
14.  
    tar -zxvf jdk-7u80-linux-x64.tar.gz -C /usr/ local/ys/app
15.  
     
16.  
    3.1.3將java添加到環境變量中
17.  
    vim /etc/profile
18.  
    #在文件最後添加
19.  
    export JAVA_HOME= /usr/local/ys/app/ jdk-7u80
20.  
    export PATH=$PATH:$JAVA_HOME/bin
21.  
     
22.  
    3.1.4 刷新配置
23.  
    source /etc/profile
24.  
     
25.  
    3.2 Zookeeper安裝
26.  
     
27.  
    3.2.0解壓
28.  
    tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/ local/ys/app（解壓）
29.  
     
30.  
    3.2.1 重命名
31.  
    mv zookeeper-3.4.5 zookeeper（重命名文件夾zookeeper-3.4.5爲zookeeper）
32.  
     
33.  
    3.2.2修改環境變量
34.  
    vi /etc/profile(修改文件)
35.  
    添加內容：
36.  
    export ZOOKEEPER_HOME=/usr/local/ys/app/zookeeper
37.  
    export PATH=$PATH:$ZOOKEEPER_HOME/bin
38.  
     
39.  
    3.2.3 從新編譯文件：
40.  
    source /etc/profile
41.  
    注意：3臺zookeeper都須要修改
42.  
     
43.  
    3.2.4修改配置文件
44.  
    cd zookeeper/conf
45.  
    cp zoo_sample.cfg zoo.cfg
46.  
    vi zoo.cfg
47.  
    添加內容：
48.  
    dataDir=/usr/ local/ys/app/zookeeper/data
49.  
    dataLogDir=/usr/ local/ys/app/zookeeper/log
50.  
    server.1=ys01:2888:3888 (主機名, 心跳端口、數據端口)
51.  
    server.2=ys02:2888:3888
52.  
    server.3=ys04:2888:3888
53.  
     
54.  
    3.2.5 建立文件夾
55.  
    cd /usr/local/ys/app/zookeeper/
56.  
    mkdir -m 755 data
57.  
    mkdir -m 755 log
58.  
     
59.  
    3.2.6 在data文件夾下新建myid文件，myid的文件內容爲：
60.  
    cd data
61.  
    vi myid
62.  
    添加內容：
63.  
    1
64.  
    將集羣下發到其餘機器上
65.  
    scp -r /usr/ local/ys/app/zookeeper ys02:/usr/local/ys/app/
66.  
    scp -r /usr/ local/ys/app/zookeeper ys04:/usr/local/ys/app/
67.  
     
68.  
    3.2.7修改其餘機器的配置文件
69.  
    到ys02上：修改myid爲：2
70.  
    到ys02上：修改myid爲：3
71.  
     
72.  
    3.2.8啓動（每臺機器）
73.  
    zkServer.sh start
74.  
    查看集羣狀態
75.  
    jps（查看進程）
76.  
    zkServer.sh status（查看集羣狀態，主從信息）
77.  
     
78.  
    3.3 Hadoop（HDFS+Yarn）
79.  
     
80.  
    3.3.0 alt+p 後出現sftp窗口，使用sftp上傳tar包到虛機ys01的/usr/ local/ys/soft目錄下
81.  
     
82.  
    3.3.1 解壓jdk
83.  
    cd /usr/local/ys/soft
84.  
    #解壓
85.  
    tar -zxvf cenos-7-hadoop-2.6.4.tar.gz -C /usr/ local/ys/app
86.  
     
87.  
    3.3.2 修改配置文件
88.  
     
89.  
    core-site.xml

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68
• 69
• 70
• 71
• 72
• 73
• 74
• 75
• 76
• 77
• 78
• 79
• 80
• 81
• 82
• 83
• 84
• 85
• 86
• 87
• 88
• 89
• 90

hdfs-site.xml 

• 1
• 2

yarn-sifite.xml 

• 1
• 2

1.  
   svales
2.  
    
3.  
   ys02
4.  
   ys03
5.  
   ys04
6.  
    
7.  
   3.3.3集羣啓動（嚴格按照下面的步驟）
8.  
   3.3.3.1啓動zookeeper集羣（分別在ys0一、ys0二、ys04上啓動zk）
9.  
   cd /usr/local/ys/app/zookeeper-3.4.5/bin/
10.  
    ./zkServer.sh start
11.  
    #查看狀態：一個leader，兩個follower
12.  
    ./zkServer.sh status
13.  
     
14.  
    3.3.3.2啓動journalnode（分別在在mini五、mini六、mini7上執行）
15.  
    cd /usr/local/ys/app/hadoop-2.6.4
16.  
    sbin/hadoop-daemon.sh start journalnode
17.  
    #運行jps命令檢驗，ys0二、ys0三、ys04上多了JournalNode進程
18.  
     
19.  
    3.3.3.3格式化HDFS
20.  
    #在ys01上執行命令:
21.  
    hdfs namenode -format
22.  
    #格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件，這裏我配置的是/usr/local/ys/app/hadoop-2.6.4/tmp，而後將/usr/local/ys/app/hadoop-2.6.4/tmp拷貝到ys02的/usr/local/ys/app/hadoop-2.6.4/下。
23.  
    scp -r tmp/ ys02:/usr/ local/ys /app/hadoop-2.6.4/
24.  
    ##也能夠這樣，建議hdfs namenode -bootstrapStandby
25.  
     
26.  
    3.3.3.4格式化ZKFC(在ys01上執行一次便可)
27.  
    hdfs zkfc -formatZK
28.  
     
29.  
    3.3.3.5啓動HDFS(在ys01上執行)
30.  
    sbin/start-dfs.sh
31.  
     
32.  
    3.3.3.6啓動YARN
33.  
    sbin/start-yarn.sh
34.  
     
35.  
    3.3MySQL-5.6安裝
36.  
    略過
37.  
     
38.  
    3.4 Hive
39.  
     
40.  
    3.4.1 alt+p 後出現sftp窗口， cd /usr/local/ys/soft，使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
41.  
     
42.  
    3.4.2解壓
43.  
    cd /usr/local/ys/soft
44.  
    tar -zxvf hive-0.9.0.tar.gz -C /usr/ local/ys/app
45.  
     
46.  
    3.4.3 .配置hive
47.  
     
48.  
    3.4.3.1配置HIVE_HOME環境變量 vi conf/hive-env.sh 配置其中的 $hadoop_home
49.  
     
50.  
    3.4.3.2配置元數據庫信息 vi hive-site.xml

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51

添加以下內容：

1.  
   3.4.4 安裝hive和mysq完成後，將mysql的鏈接jar包拷貝到 $HIVE_HOME/lib目錄下
2.  
   若是出現沒有權限的問題，在mysql受權(在安裝mysql的機器上執行)
3.  
   mysql -uroot -p
4.  
   #(執行下面的語句 *.*:全部庫下的全部表 %：任何IP地址或主機均可以鏈接)
5.  
   GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;
6.  
   FLUSH PRIVILEGES;
7.  
    
8.  
   3.4.5 Jline包版本不一致的問題，須要拷貝hive的lib目錄中jline.2.12.jar的jar包替換掉hadoop中的 /usr/ local/ys/app/hadoop-2.6.4/share/hadoop/yarn/lib/jline-0.9.94.jar
9.  
    
10.  
    3.4.6啓動hive
11.  
    bin/hive
12.  
     
13.  
    3.5 Kafka
14.  
    3.5.1 下載安裝包
15.  
    http://kafka.apache.org/downloads.html
16.  
    在linux中使用wget命令下載安裝包
17.  
    wget http://mirrors.hust.edu.cn/apache/kafka/0.8.2.2/kafka_2.11-0.8.2.2.tgz
18.  
     
19.  
    3.5.2 解壓安裝包
20.  
    tar -zxvf /usr/ local/ys/soft/kafka_2.11-0.8.2.2.tgz -C /usr/local/ys/app/
21.  
    cd /usr/local/ys/app/
22.  
    ln -s kafka_2.11-0.8.2.2 kafka
23.  
     
24.  
    3.5.3 修改配置文件
25.  
    cp
26.  
    /usr/ local/ys/app/kafka/config/server.properties
27.  
    /usr/ local/ys/app/kafka/config/server.properties.bak
28.  
    vi /usr/ local/ys/kafka/config/server.properties

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29

輸入如下內容：

1.  
   3.5.4 分發安裝包
2.  
   scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys02: /usr/local/ys/app/
3.  
   scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys03: /usr/local/ys/app/
4.  
   scp -r /usr/ local/ys/app/kafka_2.11-0.8.2.2 ys04: /usr/local/ys/app/
5.  
   而後分別在各機器上建立軟連
6.  
   cd /usr/local/ys/app/
7.  
   ln -s kafka_2.11-0.8.2.2 kafka
8.  
    
9.  
   3.5.5 再次修改配置文件（重要）
10.  
    依次修改各服務器上配置文件的的broker.id，分別是0,1,2不得重複。
11.  
     
12.  
    3.5.6 啓動集羣
13.  
    依次在各節點上啓動kafka
14.  
    bin/kafka-server-start.sh config/server.properties
15.  
     
16.  
    3.6 Spark
17.  
     
18.  
    3.6.1 alt+p 後出現sftp窗口， cd /usr/local/ys/soft，使用sftp上傳tar包到虛機ys01的/usr/local/ys/soft目錄下
19.  
     
20.  
    3.6.2 解壓安裝包
21.  
    tar -zxvf /usr/ local/ys/soft/ spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/ys/app/
22.  
     
23.  
    3.6.3 修改Spark配置文件(兩個配置文件spark-env.sh和slaves)
24.  
    cd /usr/local/ys/soft/spark-1.6.1-bin-hadoop2.6
25.  
    進入conf目錄並重命名並修改spark-env.sh.template文件
26.  
    cd conf/
27.  
    mv spark-env.sh.template spark-env.sh
28.  
    vi spark-env.sh
29.  
    在該配置文件中添加以下配置
30.  
    export JAVA_HOME=/usr/java/jdk1.7.0_45
31.  
    export SPARK_MASTER_PORT=7077
32.  
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ys01,ys02,ys04 -Dspark.deploy.zookeeper.dir=/spark"
33.  
    保存退出
34.  
    重命名並修改slaves.template文件
35.  
    mv slaves.template slaves
36.  
    vi slaves
37.  
    在該文件中添加子節點所在的位置（Worker節點）
38.  
    Ys02
39.  
    Ys03
40.  
    Ys04
41.  
    保存退出
42.  
     
43.  
    3.6.4 將配置好的Spark拷貝到其餘節點上
44.  
    scp -r spark-1.6.1-in-hadoop2.6/ ys02:/usr/ local/ys/app
45.  
    scp -r spark-1.6.1-bin-hadoop2.6/ ys03:/usr/ local/ys/app
46.  
    scp -r spark-1.6.1-bin-hadoop2.6/ ys04:/usr/ local/ys/app
47.  
     
48.  
    3.6.5 集羣啓動
49.  
    在ys01上執行sbin/start-all.sh腳本
50.  
    而後在ys02上執行sbin/start-master.sh啓動第二個Master
51.  
     
52.  
    3.7 Azkaban
53.  
     
54.  
    3.7.1 azkaban web服務器安裝
55.  
    解壓azkaban-web-server-2.5.0.tar.gz
56.  
    命令: tar –zxvf /usr/ local/ys/soft/azkaban-web-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
57.  
    將解壓後的azkaban-web-server-2.5.0 移動到 azkaban目錄中,並從新命名 webserver
58.  
    命令: mv azkaban-web-server-2.5.0 ../azkaban
59.  
    cd ../azkaban
60.  
    mv azkaban-web-server-2.5.0 webserver
61.  
     
62.  
    3.7.2 azkaban 執行服器安裝
63.  
    解壓azkaban-executor-server-2.5.0.tar.gz
64.  
    命令:tar –zxvf /usr/ local/ys/soft/azkaban-executor-server-2.5.0.tar.gz -C /usr/local/ys/app/azkaban
65.  
    將解壓後的azkaban-executor-server-2.5.0 移動到 azkaban目錄中,並從新命名 executor
66.  
    命令:mv azkaban-executor-server-2.5.0 ../azkaban
67.  
    cd ../azkaban
68.  
    mv azkaban-executor-server-2.5.0 executor
69.  
     
70.  
    3.7.3 azkaban腳本導入
71.  
    解壓: azkaban-sql-script-2.5.0.tar.gz
72.  
    命令:tar –zxvf azkaban-sql-script-2.5.0.tar.gz
73.  
    將解壓後的mysql 腳本,導入到mysql中:
74.  
    進入mysql
75.  
    mysql> create database azkaban;
76.  
    mysql> use azkaban;
77.  
    Database changed
78.  
    mysql> source /usr/local/ys/soft/azkaban-2.5.0/create-all-sql-2.5.0.sql;
79.  
     
80.  
    3.7.4 建立SSL配置
81.  
    參考地址: http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
82.  
    命令: keytool -keystore keystore - alias jetty -genkey -keyalg RSA
83.  
    運行此命令後,會提示輸入當前生成 keystor的密碼及相應信息,輸入的密碼請勞記,信息以下(此處我輸入的密碼爲：123456)
84.  
    輸入keystore密碼：
85.  
    再次輸入新密碼:
86.  
    您的名字與姓氏是什麼？
87.  
    [Unknown]：
88.  
    您的組織單位名稱是什麼？
89.  
    [Unknown]：
90.  
    您的組織名稱是什麼？
91.  
    [Unknown]：
92.  
    您所在的城市或區域名稱是什麼？
93.  
    [Unknown]：
94.  
    您所在的州或省份名稱是什麼？
95.  
    [Unknown]：
96.  
    該單位的兩字母國家代碼是什麼
97.  
    [Unknown]： CN
98.  
    CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？
99.  
    [否]： y
100.  
     輸入<jetty>的主密碼（若是和 keystore 密碼相同，按回車）：
101.  
     再次輸入新密碼
102.  
     完成上述工做後,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目錄中.如:cp keystore azkaban/webserver
103.  
      
104.  
     3.7.5 配置文件
105.  
     注：先配置好服務器節點上的時區
106.  
     先生成時區配置文件Asia/Shanghai，用交互式命令 tzselect 便可
107.  
     拷貝該時區文件，覆蓋系統本地時區配置
108.  
     cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
109.  
      
110.  
     3.7.6 azkaban web服務器配置
111.  
     進入azkaban web服務器安裝目錄 conf目錄
112.  
     修改azkaban.properties文件
113.  
     命令vi azkaban.properties

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68
• 69
• 70
• 71
• 72
• 73
• 74
• 75
• 76
• 77
• 78
• 79
• 80
• 81
• 82
• 83
• 84
• 85
• 86
• 87
• 88
• 89
• 90
• 91
• 92
• 93
• 94
• 95
• 96
• 97
• 98
• 99
• 100
• 101
• 102
• 103
• 104
• 105
• 106
• 107
• 108
• 109
• 110
• 111
• 112
• 113
• 114

內容說明以下：

1.  
   *Azkaban Personalization Settings
2.  
   azkaban.name=Test #服務器UI名稱,用於服務器上方顯示的名字
3.  
   azkaban.label=My Local Azkaban #描述
4.  
   azkaban.color= #FF3601 #UI顏色
5.  
   azkaban. default.servlet.path=/index #
6.  
   web.resource.dir=web/ #默認根web目錄
7.  
   default.timezone.id=Asia/Shanghai #默認時區,已改成亞洲/上海 默認爲美國
8.  
    
9.  
   *Azkaban UserManager class
10.  
    user.manager. class=azkaban.user.XmlUserManager #用戶權限管理默認類
11.  
    user.manager.xml.file=conf/azkaban-users.xml #用戶配置,具體配置參加下文
12.  
     
13.  
    *Loader for projects
14.  
    executor. global.properties=conf/global.properties # global配置文件所在位置
15.  
    azkaban.project.dir=projects #
16.  
     
17.  
    database.type=mysql #數據庫類型
18.  
    mysql.port= 3306 #端口號
19.  
    mysql.host=localhost #數據庫鏈接IP
20.  
    mysql.database=azkaban #數據庫實例名
21.  
    mysql.user=root #數據庫用戶名
22.  
    mysql.password=Root123456 #數據庫密碼
23.  
    mysql.numconnections= 100 #最大鏈接數
24.  
     
25.  
    * Velocity dev mode
26.  
    velocity.dev.mode= false
27.  
    * Jetty服務器屬性.
28.  
    jetty.maxThreads= 25 #最大線程數
29.  
    jetty.ssl.port= 8443 #Jetty SSL端口
30.  
    jetty.port= 8081 #Jetty端口
31.  
    jetty.keystore=keystore #SSL文件名
32.  
    jetty.password= 123456 #SSL文件密碼
33.  
    jetty.keypassword= 123456 #Jetty主密碼 與 keystore文件相同
34.  
    jetty.truststore=keystore #SSL文件名
35.  
    jetty.trustpassword= 123456 # SSL文件密碼
36.  
     
37.  
    * 執行服務器屬性
38.  
    executor.port= 12321 #執行服務器端
39.  
     
40.  
    *郵件設置
41.  
    mail.sender=xxxxxxxx@ 163.com #發送郵箱
42.  
    mail.host=smtp .163.com #發送郵箱smtp地址
43.  
    mail.user=xxxxxxxx #發送郵件時顯示的名稱
44.  
    mail.password=********** #郵箱密碼
45.  
    job.failure.email=xxxxxxxx@ 163.com #任務失敗時發送郵件的地址
46.  
    job.success.email=xxxxxxxx@ 163.com #任務成功時發送郵件的地址
47.  
    lockdown.create.projects= false #
48.  
    cache.directory=cache #緩存目錄
49.  
     
50.  
    3.7.7azkaban 執行服務器executor配置
51.  
    進入執行服務器安裝目錄conf,修改azkaban.properties
52.  
    vi azkaban.properties
53.  
    *Azkaban
54.  
    default.timezone.id=Asia/Shanghai #時區
55.  
     
56.  
    * Azkaban JobTypes 插件配置
57.  
    azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置
58.  
     
59.  
    *Loader for projects
60.  
    executor. global.properties=conf/global.properties
61.  
    azkaban.project.dir=projects
62.  
     
63.  
    *數據庫設置
64.  
    database.type=mysql #數據庫類型(目前只支持mysql)
65.  
    mysql.port= 3306 #數據庫端口號
66.  
    mysql.host= 192.168.20.200 #數據庫IP地址
67.  
    mysql.database=azkaban #數據庫實例名
68.  
    mysql.user=root #數據庫用戶名
69.  
    mysql.password=Root23456 #數據庫密碼
70.  
    mysql.numconnections= 100 #最大鏈接數
71.  
     
72.  
    *執行服務器配置
73.  
    executor.maxThreads= 50 #最大線程數
74.  
    executor.port= 12321 #端口號(如修改,請與web服務中一致)
75.  
    executor.flow.threads= 30 #線程數

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50
• 51
• 52
• 53
• 54
• 55
• 56
• 57
• 58
• 59
• 60
• 61
• 62
• 63
• 64
• 65
• 66
• 67
• 68
• 69
• 70
• 71
• 72
• 73
• 74
• 75

1.  
   3 .7.8用戶配置
2.  
   進入 azkaban web服務器conf目錄,修改azkaban-users.xml
3.  
   vi azkaban-users.xml 增長 管理員用戶

• 1
• 2
• 3
• 4

1.  
   3.7.9 web服務器啓動
2.  
   在azkaban web服務器目錄下執行啓動命令
3.  
   bin/azkaban-web-start.sh
4.  
   注:在web服務器根目錄運行
5.  
   或者啓動到後臺
6.  
   nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out &
7.  
    
8.  
   3.7.10執行服務器啓動
9.  
    
10.  
    在執行服務器目錄下執行啓動命令
11.  
    bin/azkaban-executor-start.sh
12.  
    注:只能要執行服務器根目錄運行
13.  
     
14.  
    啓動完成後,在瀏覽器(建議使用谷歌瀏覽器)中輸入https: //服務器IP地址:8443 ,便可訪問azkaban服務了.在登陸中輸入剛纔新的戶用名及密碼,點擊 login
15.  
     
16.  
    3.8 Zeppelin
17.  
    參照以下文件：
18.  
    http: //blog.csdn.net/chengxuyuanyonghu/article/details/54915817
19.  
    http: //blog.csdn.net/chengxuyuanyonghu/article/details/54915962
20.  
     
21.  
    3.9 HBase
22.  
    3.9.1解壓
23.  
    tar –zxvf /usr/ local/ys/soft/hbase-0.99.2-bin.tar.gz -C /usr/local/ys/app
24.  
     
25.  
    3.9.2重命名
26.  
    cd /usr/ local/ys/app
27.  
    mv hbase- 0.99.2 hbase
28.  
     
29.  
    3.9.3修改配置文件
30.  
    每一個文件的解釋以下：
31.  
    hbase-env.sh
32.  
    export JAVA_HOME=/usr/local/ys/app/jdk1.7.0_80 //jdk安裝目錄
33.  
    export HBASE_CLASSPATH=/usr/local/ys/app/hadoop-2.6.4/etc/hadoop //hadoop配置文件的位置
34.  
    export HBASE_MANAGES_ZK=false #若是使用獨立安裝的zookeeper這個地方就是false（此處使用本身的zookeeper）
35.  
     
36.  
    hbase-site.xml

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37

1.  
   Regionservers //是從機器的域名
2.  
   Ys02
3.  
   ys03
4.  
   ys04
5.  
    
6.  
   注：此處HBase配置是針對HA模式的hdfs
7.  
    
8.  
   3.9.4將Hadoop的配置文件hdfs-site.xml和core-site.xml拷貝到HBase配置文件中
9.  
   cp /usr/ local/ys/app/Hadoop-2.6.4/etc/hadoop/hdfs-site.xml /usr/local/ys/app/hbase/conf
10.  
    cp /usr/ local/ys/app/hadoop-2.6.4/etc/hadoop/core-site.xml /usr/local/ys/app/hbase/conf
11.  
     
12.  
    3.9.5發放到其餘機器
13.  
    scp –r /usr/ local/ys/app/hbase ys02: /usr/local/ys/app
14.  
    scp –r /usr/ local/ys/app/hbase ys03: /usr/local/ys/app
15.  
    scp –r /usr/ local/ys/app/hbase ys04: /usr/local/ys/app
16.  
     
17.  
    3.9.6啓動
18.  
    cd /usr/ local/ys/app/hbase/bin
19.  
    ./ start-hbase.sh
20.  
     
21.  
    3.9.7查看
22.  
    進程：jps
23.  
    進入hbase的shell：hbase shell
24.  
    退出hbase的shell：quit
25.  
    頁面：http: //master:60010/
26.  
     
27.  
    3.10KAfkaOffsetMonitor(Kafka集羣的監控程序，本質就是一個jar包)
28.  
     
29.  
    3.10.1上傳jar包
30.  
    略
31.  
     
32.  
    3.10.2 運行jar包
33.  
    nohup java -cp KafkaOffsetMonitor-assembly- 0.2.1.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk ys01,ys02,ys04 --refresh 5.minutes --retain 1.day --port 8089 $

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34

4. 集羣調優

1.  
   4.1 輔助工具儘可能不安裝到數據或者運算節點，避免佔用過多計算或內存資源。
2.  
    
3.  
   4.2 dataNode和spark的slave節點儘可能在一塊兒；這樣運算的時候就能夠避免經過網絡拉取數據，加快運算速度。
4.  
    
5.  
   4.3 Hadoop集羣機架感知配置，配置以後可使得數據在同機架的不一樣機器2份，而後其餘機架機器1份，但是兩臺機器四臺虛機沒有必要配感知我的感受。
6.  
    
7.  
   4.4 配置參數調優
8.  
   能夠參考http: //blog.csdn.net/chndata/article/details/46003399

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9

---

第三階段（輔助工具工學習階段）

11）Sqoop（CSDN，51CTO ，以及官網）—20小時

1. 數據導出概念介紹
2. Sqoop基礎知識
3. Sqoop原理及配置說明
4. Sqoop數據導入實戰
5. Sqoop數據導出實戰、
6. Sqoop批量做業操做

推薦學習博客：http://student-lp.iteye.com/blog/2157983 
官網：http://sqoop.apache.org/

12）Flume（CSDN，51CTO ，以及官網）—20小時

1. FLUME日誌採集框架介紹。
2. FLUME工做機制。
3. FLUME核心組件。
4. FLUME參數配置說明。
5. FLUME採集nginx日誌案例（案例必定要實踐一下）

推薦學習博客：http://www.aboutyun.com/thread-8917-1-1.html 
官網：http://flume.apache.org

13）Oozie（CSDN，51CTO ，以及官網）–20小時

1. 任務調度系統概念介紹。
2. 經常使用任務調度工具比較。
3. Oozie介紹。
4. Oozie核心概念。
5. Oozie的配置說明。
6. Oozie實現mapreduce/hive等任務調度實戰案例。

推薦學習博客：http://www.infoq.com/cn/articles/introductionOozie 
官網：http://oozie.apache.org/

14）Hue（CSDN，51CTO ，以及官網）–20小時

推薦學習博客：http://ju.outofmemory.cn/entry/105162 
官網：http://gethue.com/

第四階段（不斷學習階段）

天天都會有新的東西出現，須要關注最新技術動態，不斷學習。任何通常技術都是先學習理論，而後在實踐中不斷完善理論的過程。

備註

1）若是你以爲本身看書效率太慢，你能夠網上搜集一些課程，跟着課程走也OK 。若是看書效率不高就很網課，相反的話就本身看書。

2）企業目前更傾向於使用Spark進行微批處理，Storm只有在對時效性要求極高的狀況下，纔會使用，因此能夠作了解。重點學習Spark Streaming。

3）快速學習的能力、解決問題的能力、溝通能力**真的很重要。

4）要善於使用StackOverFlow和Google（遇到解決不了的問題，先Google，若是Google找不到解決方能就去StackOverFlow提問，通常印度三哥都會在2小時內回答你的問題）。

5）視頻課程推薦：

能夠去萬能的淘寶購買一些視頻課程，你輸入「大數據視頻課程」，會出現不少，多購買幾份（100塊之內能夠搞定），而後選擇一個適合本身的。我的認爲小象學院的董西成和陳超的課程含金量會比較高。

4、持續學習資源推薦

1. Apache 官網（http://apache.org/）
2. Stackoverflow（https://stackoverflow.com/）
3. Github(https://github.com/)
4. Cloudra官網(https://www.cloudera.com/)
5. Databrick官網(https://databricks.com/)
6. About 雲 ：http://www.aboutyun.com/
7. CSDN，51CTO （http://www.csdn.net/，http://www.51cto.com/）
8. 至於書籍噹噹一搜會有不少，其實內容都差很少。

5、項目案例分析

1）點擊流日誌項目分析（此處借鑑CSDN博主的文章，因爲沒有受權，因此就沒有貼過來，下面附上連接）—-批處理

http://blog.csdn.net/u014033218/article/details/76847263

2）Spark Streaming在京東的項目實戰（京東的實戰案例值得好好研究一下，因爲沒有受權，因此就沒有貼過來，下面附上連接）—實時處理 
http://download.csdn.net/download/csdndataid_123/8079233

最後但卻很重要一點:天天都會有新的技術出現，要多關注技術動向，持續學習。

以上內容不保證一年之後仍適用。

【GitChat達人課】

1. 前端惡棍 · 大漠窮秋 ：《Angular 初學者快速上手教程 》
2. Python 中文社區聯合創始人 · Zoom.Quiet ：《GitQ: GitHub 入味兒 》
3. 前端顏值擔當 · 餘博倫：《如何從零學習 React 技術棧 》
4. GA 最先期使用者 · GordonChoi：《GA 電商數據分析實踐課》
5. 技術總監及合夥人 · 楊彪：《Gradle 從入門到實戰》
6. 混元霹靂手 · 江湖前端：《Vue 組件通訊全揭祕》
7. 知名互聯網公司安卓工程師 · 張拭心：《安卓工程師跳槽面試全指南》