spark集羣搭建（三臺虛擬機）——spark集羣搭建（5）

！！！該系列使用三臺虛擬機搭建一個完整的spark集羣，集羣環境以下：

virtualBox5.二、Ubuntu14.0四、securecrt7.3.6_x64英文版（鏈接虛擬機）

jdk1.7.0、hadoop2.6.五、zookeeper3.4.五、Scala2.12.六、kafka_2.9.2-0.8.一、spark1.3.1-bin-hadoop2.6

第一篇：準備三臺虛擬機環境，配置靜態IP，ssh免密碼登陸

第二篇：搭建hadoop集羣

第三篇：搭建zookeeper集羣

第四篇：搭建kafka集羣

第五篇：搭建spark集羣

本文在前面基礎上搭建spark

1、spark1

下面操做在spark1上：

一、spark（spark1.3.1-bin-hadoop2.6）下載解壓重命名

二、配置環境變量

export SPARK_HOME=/usr/local/bigdata/spark 
export PATH=$PATH:$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

修改配置文件

一、spark-env.sh

$ cd ./spark/conf  #進入spark的conf目錄下
$ mv spark-env.sh.template spark-env.sh
$ vim spark-env.sh

添加以下配置

export JAVA_HOME=/usr/local/bigdata/jdk
export SCALA_HOME=/usr/local/bigdata/scala
export SPARK_MASTER_IP=192.168.43.XXX
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/usr/local/bigdata/hadoop/etc/hadoop

二、slaves

$ mv slaves.template slaves
$ vim slaves

添加三臺主機名

spark1
spark2
spark3

2、spark2和spark3

一、拷貝spark到另外兩臺機器上

root@spark1:/usr/local/bigdata# scp -r spark root@spark2://usr/local/bigdata/
root@spark1:/usr/local/bigdata# scp -r spark root@spark3://usr/local/bigdata/

二、同理配置spark2和spark3的環境變量，或者直接把環境變量文件拷貝過去

 3、啓動spark

進入spark的sbin目錄下，執行：

$ ./start-all.sh

此時查看jps,spark1上有Master

root@spark1:/usr/local/bigdata/spark/sbin# jps
3489 Worker
2972 NodeManager
2643 SecondaryNameNode
3541 Jps
2358 NameNode
3330 Master
2847 ResourceManager
2482 DataNode

spark2

root@spark2:/usr/local/bigdata# jps
2838 Jps
2579 NodeManager
2786 Worker
2486 DataNode

spark3

root@spark3:/usr/local/bigdata# jps
3988 Jps
3731 NodeManager
3936 Worker
3637 DataNode

瀏覽器輸入http://spark1:8080/

　

$ spark-shell  #進入shell