Spark On YARN 集羣安裝部署

最近畢設須要用到 Spark 集羣，因此就記錄下了部署的過程。咱們知道 Spark 官方提供了三種集羣部署方案： Standalone, Mesos, YARN。其中 Standalone 最爲方便，本文主要講述結合 YARN 的部署方案。

軟件環境：

Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

Hadoop: 2.6.0

Spark: 1.3.0

0 寫在前面

本例中的演示均爲非 root 權限，因此有些命令行須要加 sudo，若是你是 root 身份運行，請忽略 sudo。下載安裝的軟件建議都放在 home 目錄之上，好比~/workspace中，這樣比較方便，以避免權限問題帶來沒必要要的麻煩。

1. 環境準備

修改主機名

咱們將搭建1個master，2個slave的集羣方案。首先修改主機名vi /etc/hostname，在master上修改成master，其中一個slave上修改成slave1，另外一個同理。

配置hosts

在每臺主機上修改host文件

vi /etc/hosts

10.1.1.107      master

10.1.1.108      slave1

10.1.1.109      slave2

配置以後ping一下用戶名看是否生效

ping slave1

ping slave2

SSH 免密碼登陸

安裝Openssh server

sudo apt-get install openssh-server

在全部機器上都生成私鑰和公鑰

ssh-keygen -t rsa   #一路回車

須要讓機器間都能相互訪問，就把每一個機子上的id_rsa.pub發給master節點，傳輸公鑰能夠用scp來傳輸。

scp ~/.ssh/id_rsa.pub spark@master :~/.ssh/id_rsa.pub.slave1

在master上，將全部公鑰加到用於認證的公鑰文件authorized_keys中

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

將公鑰文件authorized_keys分發給每臺slave

scp ~/.ssh/authorized_keys spark@master :~/.ssh/

在每臺機子上驗證SSH無密碼通訊

ssh master

ssh slave1

ssh slave2

若是登錄測試不成功，則可能須要修改文件authorized_keys的權限（權限的設置很是重要，由於不安全的設置安全設置,會讓你不能使用RSA功能 ）

chmod 600 ~/.ssh/authorized_keys

安裝 Java

從官網下載最新版 Java 就能夠，Spark官方說明 Java 只要是6以上的版本均可以，我下的是 jdk-7u75-linux-x64.gz

在~/workspace目錄下直接解壓

tar -zxvf jdk-7u75-linux-x64.gz

修改環境變量sudo vi /etc/profile，添加下列內容，注意將home路徑替換成你的：

export WORK_SPACE=/home/spark/workspace/

export JAVA_HOME=$WORK_SPACE/jdk1.7.0_75

export JRE_HOME=/home/spark/work/jdk1.7.0_75/jre

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

而後使環境變量生效，並驗證 Java 是否安裝成功

$ source /etc/profile   #生效環境變量

$ java -version         #若是打印出以下版本信息，則說明安裝成功

java version "1.7.0_75"

Java(TM) SE Runtime Environment (build 1.7.0_75-b13)

Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)

安裝 Scala

Spark官方要求 Scala 版本爲 2.10.x，注意不要下錯版本，我這裏下了 2.10.4，官方下載地址（可惡的天朝大局域網下載 Scala 龜速通常）。

一樣咱們在~/workspace中解壓

tar -zxvf scala-2.10.4.tgz

再次修改環境變量sudo vi /etc/profile，添加如下內容：

export SCALA_HOME=$WORK_SPACE/scala-2.10.4

export PATH=$PATH:$SCALA_HOME/bin

一樣的方法使環境變量生效，並驗證 scala 是否安裝成功

$ source /etc/profile   #生效環境變量

$ scala -version        #若是打印出以下版本信息，則說明安裝成功

Scala code runner version 2.10.4 -- Copyright 2002-2013, LAMP/EPFL

安裝配置 Hadoop YARN

下載解壓

從官網下載 hadoop2.6.0 版本，這裏給個咱們學校的鏡像下載地址。

一樣咱們在~/workspace中解壓

tar -zxvf hadoop-2.6.0.tar.gz

配置 Hadoop

cd ~/workspace/hadoop-2.6.0/etc/hadoop進入hadoop配置目錄，須要配置有如下7個文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.

export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75

在yarn-env.sh中配置JAVA_HOME

# some Java parameters

export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75

在slaves中配置slave節點的ip或者host，

slave1

slave2

修改core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000/</value>

    </property>

    <property>

         <name>hadoop.tmp.dir</name>

         <value>file:/home/spark/workspace/hadoop-2.6.0/tmp</value>

    </property>

</configuration>

修改hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.secondary.http-address</name>

        <value>master:9001</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/spark/workspace/hadoop-2.6.0/dfs/data</value>

    </property>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

</configuration>

修改mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

修改yarn-site.xml

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

    <property>

        <name>yarn.resourcemanager.address</name>

        <value>master:8032</value>

    </property>

    <property>

        <name>yarn.resourcemanager.scheduler.address</name>

        <value>master:8030</value>

    </property>

    <property>

        <name>yarn.resourcemanager.resource-tracker.address</name>

        <value>master:8035</value>

    </property>

    <property>

        <name>yarn.resourcemanager.admin.address</name>

        <value>master:8033</value>

    </property>

    <property>

        <name>yarn.resourcemanager.webapp.address</name>

        <value>master:8088</value>

    </property>

</configuration>

將配置好的hadoop-2.6.0文件夾分發給全部slaves吧

scp -r ~/workspace/hadoop-2.6.0 spark@slave1:~/workspace/

啓動 Hadoop

在 master 上執行如下操做，就能夠啓動 hadoop 了。

cd ~/workspace/hadoop-2.6.0     #進入hadoop目錄

bin/hadoop namenode -format     #格式化namenode

sbin/start-dfs.sh               #啓動dfs 

sbin/start-yarn.sh              #啓動yarn

驗證 Hadoop 是否安裝成功

能夠經過jps命令查看各個節點啓動的進程是否正常。在 master 上應該有如下幾個進程：

$ jps  #run on master

3407 SecondaryNameNode

3218 NameNode

3552 ResourceManager

3910 Jps

在每一個slave上應該有如下幾個進程：

$ jps   #run on slaves

2072 NodeManager

2213 Jps

1962 DataNode

或者在瀏覽器中輸入 http://master:8088 ，應該有 hadoop 的管理界面出來了，並能看到 slave1 和 slave2 節點。

Spark安裝

下載解壓

進入官方下載地址下載最新版 Spark。我下載的是 spark-1.3.0-bin-hadoop2.4.tgz。

在~/workspace目錄下解壓

tar -zxvf spark-1.3.0-bin-hadoop2.4.tgz

mv spark-1.3.0-bin-hadoop2.4 spark-1.3.0    #原來的文件名太長了，修改下

配置 Spark

cd ~/workspace/spark-1.3.0/conf    #進入spark配置目錄

cp spark-env.sh.template spark-env.sh   #從配置模板複製

vi spark-env.sh     #添加配置內容

在spark-env.sh末尾添加如下內容（這是個人配置，你能夠自行修改）：

export SCALA_HOME=/home/spark/workspace/scala-2.10.4

export JAVA_HOME=/home/spark/workspace/jdk1.7.0_75

export HADOOP_HOME=/home/spark/workspace/hadoop-2.6.0

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SPARK_MASTER_IP=master

SPARK_LOCAL_DIRS=/home/spark/workspace/spark-1.3.0

SPARK_DRIVER_MEMORY=1G

注：在設置Worker進程的CPU個數和內存大小，要注意機器的實際硬件條件，若是配置的超過當前Worker節點的硬件條件，Worker進程會啓動失敗。

vi slaves在slaves文件下填上slave主機名：

slave1

slave2

將配置好的spark-1.3.0文件夾分發給全部slaves吧

scp -r ~/workspace/spark-1.3.0 spark@slave1:~/workspace/

啓動Spark

sbin/start-all.sh

驗證 Spark 是否安裝成功

用jps檢查，在 master 上應該有如下幾個進程：

$ jps

7949 Jps

7328 SecondaryNameNode

7805 Master

7137 NameNode

7475 ResourceManager

在 slave 上應該有如下幾個進程：

$jps

3132 DataNode

3759 Worker

3858 Jps

3231 NodeManager

進入Spark的Web管理頁面： http://master:8080

運行示例

#本地模式兩線程運行

./bin/run-example SparkPi 10 --master local[2]

#Spark Standalone 集羣模式運行

./bin/spark-submit \

  --class org.apache.spark.examples.SparkPi \

  --master spark://master:7077 \

  lib/spark-examples-1.3.0-hadoop2.4.0.jar \

  100

#Spark on YARN 集羣上 yarn-cluster 模式運行

./bin/spark-submit \

    --class org.apache.spark.examples.SparkPi \

    --master yarn-cluster \  # can also be `yarn-client`

    lib/spark-examples*.jar \

    10

注意 Spark on YARN 支持兩種運行模式，分別爲yarn-cluster和yarn-client，具體的區別能夠看這篇博文，從廣義上講，yarn-cluster適用於生產環境；而yarn-client適用於交互和調試，也就是但願快速地看到application的輸出。