spark 2.0.2 集羣搭建

因爲以前已經搭建過hadoop相關環境,如今搭建spark的預備工做只有scala環境了

一,配置scala環境

1.解壓tar包後,編輯/etc/profile

2.source /etc/profile

3.scala -version

4.分發到其餘兩臺機器上

 

二.搭建spark集羣

1.配置spark環境變量

2.進入spark的conf目錄下

cp -a spark-env.sh.template spark-env.sh

cp -a slaves.template slaves

3.修改spark-env.sh,這裏依然指定master爲hadoop002

1 export JAVA_HOME=/opt/module/jdk1.8.0_181 2 export SCALA_HOME=/opt/module/scala-2.10.1
3 export SPARK_MASTER_IP=192.168.101.102
4 export SPARK_WORKER_MEMORY=1g 5 export HADOOP_CONF_DIR=/opt/module/hadoop-2.7.7

4.修改slaves

1 hadoop003
2 hadoop004

5.分發到其餘兩臺機器

6.啓動集羣

先啓動zk,而後啓動hdfs,yarn,最後來到spark目錄下

執行sbin/start-all.sh啓動spark

7.查看,雖然咱們沒有配置hadoop002爲slaves,但顯然此時它也是一個worker(下次從新啓動時就只有Masrter節點就不會有worker進程了)

也能夠打開8080端口,查看UI

 8.中止時先在spark目錄下sbin/stop-all.sh 而後中止yarn,再中止hdfs.最後zk