Spark簡單集羣搭建

 

1． 上傳spark-2.2.0-bin-hadoop2.7.tgz安裝包到/home/dtouding目錄下

2． 解壓安裝包到/bigdata/目錄下，tar –zxvf spark-2.2.0-bin-hadoop2.7.tgz –C /bigdata/

3． 修改配置文件：

1)      mv spark-env.sh.template spark-env.sh

2)      mv slaves.template slaves

3)      修改spark-env.sh文件

添加Java的安裝路徑：export JAVA_HOME=/usr/local/jdk1.8.0_181/ 指定Master：export SPARK_MASTER_HOST=Node-1 指定Master的RPC通訊端口：export SPARK_MASTER_PORT=7077

 

4)      修改slaves文件，指定worker

4． 把spark安裝目錄拷貝到其餘兩個節點上。

for i in {2..3};do scp -r /bigdata/spark-2.2.0-bin-hadoop2.7/ Node-$i:/bigdata/;done

 

5． 啓動：sbin/start-all.sh

6． Spark管理界面：http://192.168.0.111:8080/