flink local集羣部署

flink local集羣部署

標籤（空格分隔）： flink系列

---

• 一：flink 介紹
• 二：flink 運行模式
• 三：flink local集羣部署

---

一：flink 介紹

1.1: flink 介紹

Apache Flink是由Apache軟件基金會開發的開源流處理框架，其核心是用Java和Scala編寫的分佈式流數據流引擎。Flink以數據並行和流水線方式執行任意流數據程序，Flink的流水線運行時系統能夠執行批處理和流處理程序。此外，Flink的運行時自己也支持迭代算法的執行

---

1.2 Apache Flink® - 數據流上的有狀態計算

---

二：flink 集羣部署

2.1 安裝jdk (全部節點都要安裝)

安裝：jdk  

rpm -ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

vim /etc/profile 

----
export JAVA_HOME=/usr/java/jdk1.8.0_141-cloudera
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
----

java -version

---

2.2 安裝flink

下載地址：
http://archive.apache.org/dist/flink/flink-1.11.2/flink-1.11.2-bin-scala_2.12.tgz

tar -zxvf flink-1.11.2-bin-scala_2.12.tgz

mv flink-1.11.2 /usr/local/flink

cd /usr/local/flink/conf
cp -p flink-conf.yaml flink-conf.yaml.bak

vim flink-conf.yaml

-----
jobmanager.rpc.address: rc01bigdata.vpc.uniondrug.com
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 10
taskmanager.memory.preallocate: false
parallelism.default: 1
jobmanager.web.port: 8381
rest.port: 8381
env.java.opts: -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+AlwaysPreTouch -server -XX:+HeapDumpOnOutOfMemoryError
env.java.home: /usr/java/jdk1.8.0_141-cloudera
classloader.resolve-order: parent-first
env.ssh.opts: -p 36022       ### 產線的SSH 端口號
------

---

vim masters
----
rc01bigdata.vpc.uniondrug.com:8381
----

vim works
---
rc02bigdata.vpc.uniondrug.com
rc03bigdata.vpc.uniondrug.com
rc04bigdata.vpc.uniondrug.com
---

---

cd /usr/local/
tar -zcvf flink.tar.gz flink
scp -P36022 flink.tar.gz root@rc02bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc03bigdata.vpc.uniondrug.com:/usr/local/
scp -P36022 flink.tar.gz root@rc04bigdata.vpc.uniondrug.com:/usr/local/

---

分別在每臺works機器上面 解壓 flink.tar.gz 包

cd /usr/local/

tar -zxvf flink.tar.gz

---

在flink master 的節點上面執行啓動flink集羣

 cd /usr/local/flink
 bin/start-cluster.sh

---

執行一個wordcount 

./bin/flink run examples/batch/WordCount.jar