Flink 集羣搭建

3.Flink 集羣搭建

 

　　 Flink 能夠選擇的部署方式有：

　　Local、Standalone（資源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。

　　咱們主要對 Standalone 模式和 Yarn 模式下的 Flink 集羣部署進行分析。

 

 

 

 

3.1Standalone 模式安裝

　　咱們對 standalone 模式的 Flink 集羣進行安裝，準備三臺虛擬機，其中一臺做爲

JobManager（hadoop-senior01），另外兩臺做爲 TaskManager（hadoop-senior0二、

hadoop-senior03）。

1. 在官網下載 1.6.1 版本 Flink（https://archive.apache.org/dist/flink/flink-1.6.1/）。

 

2. 將安裝包上傳到要按照 JobManager 的節點（hadoop-senior01）。

 

3. 進入 Linux 系統對安裝包進行解壓：

[lxl@hadoop102 software]$ tar -zxvf flink-1.6.1-bin-hadoop27-scala_2.11.tgz -C /opt/module/

 

4. 修改安裝目錄下 conf 文件夾內的 flink-conf.yaml 配置文件，指定 JobManager：

[lxl@hadoop102 conf]$ vi flink-conf.yaml

 

 

5. 修改安裝目錄下 conf 文件夾內的 slave 配置文件，指定 TaskManager：

[lxl@hadoop102 conf]$ vi slaves 

 

[lxl@hadoop102 conf]$ cat slaves 
hadoop103
hadoop104

 

 

6. 將配置好的 Flink 目錄分發給其餘的兩臺節點： 

[lxl@hadoop102 module]$ xsync flink

 

7. 在 hadoop102 節點啓動集羣： 

[lxl@hadoop102 flink]$ bin/start-cluster.sh 

 

8. 經過 jps 查看進程信息：

[lxl@hadoop102 flink]$ jps
3041 Jps
2985 StandaloneSessionClusterEntrypoint

[lxl@hadoop103 ~]$ jps
2759 Jps
2682 TaskManagerRunner

[lxl@hadoop104 ~]$ jps
2758 Jps
2680 TaskManagerRunner

 

9. 訪問集羣 web 界面（8081 端口）：

 

 

 

 

3.2Yarn 模式安裝 

1 在官網下載 1.6.1 版本 Flink（https://archive.apache.org/dist/flink/flink-1.6.1/）。

 

2 將安裝包上傳到要按照 JobManager 的節點（hadoop-senior01）。

 

3 進入 Linux 系統對安裝包進行解壓：

 

4 修改安裝目錄下 conf 文件夾內的 flink-conf.yaml 配置文件，指定 JobManager： 

 

5 修改安裝目錄下 conf 文件夾內的 slave 配置文件，指定 TaskManager： 

 

6 將配置好的 Flink 目錄分發給其餘的兩臺節點：

以上步驟 Standalone 已經完成

 

7. 明確虛擬機中已經設置好了環境變量 HADOOP_HOME。 （安裝Hadoop時已作）

 

8. 啓動 Hadoop 集羣（HDFS 和 Yarn）。

 

9. 在 hadoop102 節 點 提 交 Yarn-Session， 使 用 安 裝目 錄 下 bin 目錄中的

yarn-session.sh 腳本進行提交：

/opt/modules/flink/bin/yarn-session.sh -n 2 -s 6 -jm 1024 -tm 1024 -nm test -d

 

其中：

　　-n(--container)：TaskManager 的數量。

　　-s(--slots)： 每一個 TaskManager 的 slot 數量，默認一個 slot 一個 core，默認每一個taskmanager 的 slot 的個數爲 1。

　　-jm：JobManager 的內存（單位 MB)。

　　-tm：每一個 taskmanager 的內存（單位 MB)。

　　-nm：yarn 的 appName(如今 yarn 的 ui 上的名字)。

　　-d：後臺執行。

 

10. 啓動後查看 Yarn 的 Web 頁面，能夠看到剛纔提交的會話：

 

11. 在提交 Session 的節點查看進程：

[lxl@hadoop103 ~]$ jps
4034 NodeManager
2838 DataNode
4506 Jps
2682 TaskManagerRunner
4458 YarnSessionClusterEntrypoint
3916 ResourceManager

 

12. 提交 Jar 到集羣運行：

/opt/modules/flink/bin/flink run -m yarn-cluster examples/batch/WordCount.jar

 

13. 提交後在 Yarn 的 Web 頁面查看任務運行狀況：

 

 

14. 任務運行結束後在控制檯打印以下輸出：