Spark1.2.1集羣環境搭建——Standalone模式

機器準備

筆者有三臺機器，左側欄爲ip，右側爲hostname，三臺機器都有一個名爲spark的用戶。

192.168.248.150 spark-master
192.168.248.153 ubuntu-worker
192.168.248.155 spark-worker1

根據機器信息加入到三臺機器的/etc/hosts中。

安裝Hadoop2.4.1

詳見Spark集羣搭建——Hadoop2.4.1集羣搭建，由於咱們使用的是standalone方式，只啓動hdfs便可。

安裝scala

參照Scala極速入門安裝部分，在一臺機器上解壓、配置環境變量後，將文件夾和環境變量文件經過scp拷貝到另外兩臺便可。

scp -r scala spark@ubuntu-worker:~/spark

下載spark

點此下載

解壓文件 tar -xzvf spark-1.2.1-bin-hadoop2.4.tgz

配置

1.  向環境變量添加spark home。

export SPARK_HOME=/home/mupeng/Hadoop/spark-1.2.1-bin-hadoop2.4
export PATH=$SPARK_HOME/bin:$PATH

2.  配置./conf/slaves

首先將slaves.template拷貝一份

cp slaves.template slaves

修改slaves文件

# A Spark Worker will be started on each of the machines listed below.
spark-master
ubuntu-worker
spark-worker1

3.  配置./conf/spark-env.sh

一樣將spark-env.sh.template拷貝一份

cp spark-env.sh.template spark-env.sh

在spark-env.sh最後加入如下幾行

export JAVA_HOME=/home/mupeng/java/jdk1.6.0_35
export SCALA_HOME=/home/mupeng/scala/scala-2.11.6
export SPARK_MASTER_IP=192.168.248.150
export SPARK_WORKER_MEMORY=25g
export MASTER=spark://192.168.248.150:7077

最後將spark-1.2.1-bin-hadoop2.4文件夾拷貝到另外兩個結點便可。

檢查安裝是否成功

訪問web管理界面：http://192.168.248.150:8080

好了，配置結束，能夠在咱們的spark集羣上運行任務了！