Spark環境搭建

時間 2019-11-12

標籤 spark 環境搭建欄目 Spark 简体版

原文原文鏈接

本文轉載自：https://blog.csdn.net/Sugar_girl/article/details/77867618 並加入了本身安裝中遇到的一些問題.html

本次安裝部署版本： Hadoop2.8.1+Scala2.12.3+Spark2.2.0java

1.環境準備
修改主機名
　　咱們將搭建1個master，2個slave的集羣方案。首先修改主機名vi /etc/hostname，在master上修改成master，其中一個slave上修改成slave1，另外一個修改成slave2。
配置hosts
　　在每臺主機上修改host文件node

vi /etc/hosts
10.1.1.107      master
10.1.1.108      slave1
10.1.1.109      slave2

　　配置以後ping一下用戶名看是否生效linux

ping slave1
ping slave2

SSH 免密碼登陸
　　安裝Openssh serverweb

sudo apt-get install openssh-server

　　在全部機器上都生成私鑰和公鑰shell

ssh-keygen -t rsa   #一路回車

　　須要讓機器間都能相互訪問，就把每一個機子上的id_rsa.pub發給master節點，傳輸公鑰能夠用scp來傳輸。apache

scp ~/.ssh/id_rsa.pub tx@master:~/.ssh/id_rsa.pub.slave1

　　在master上，將全部公鑰加到用於認證的公鑰文件authorized_keys中瀏覽器

cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys

　　將公鑰文件authorized_keys分發給每臺slave

scp ~/.ssh/authorized_keys tx@slave1:~/.ssh/

　　在每臺機子上驗證SSH無密碼通訊安全

ssh master
ssh slave1
ssh slave2

　　若是登錄測試不成功，則可能須要修改文件authorized_keys的權限（權限的設置很是重要，由於不安全的設置安全設置,會讓你不能使用RSA功能）oracle

chmod 600 ~/.ssh/authorized_keys

　　若是遇到ssh登陸The authenticity of host 192.168.xxx.xxx can’t be established.的問題，執行scp報錯

The authenticity of host '192.168.23.130 (192.168.23.130)' can't be established.
ECDSA key fingerprint is SHA256:EsqTfeCJ34DnGV66REuRRPhoFwaLuee5wxFgEAZ8b9k.
Are you sure you want to continue connecting (yes/no)? 
Host key verification failed.
lost connection

　　這時，修改/etc/ssh/ssh_config文件的配置，之後則不會再出現此問題，在最後面添加：

StrictHostKeyChecking   no
UserKnownHostsFile  /dev/null

安裝 Java
　　從官網下載最新版 Java 就能夠，Spark官方說明 Java 只要是6以上的版本均可以，我下的是 jdk-8u144-linux-x64.tar.gz，在~/workspace目錄下直接解壓。

tar -zxvf jdk-8u144-linux-x64.tar.gz

　　修改環境變量sudo vi /etc/profile，添加下列內容，注意將home路徑替換成你的：

export WORK_SPACE=/home/tx/workspace/
export JAVA_HOME=$WORK_SPACE/jdk1.8.0_144
export JRE_HOME=/home/tx/workspace/jdk1.8.0_144/jre
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

　　而後使環境變量生效，並驗證 Java 是否安裝成功

$ source /etc/profile   #生效環境變量
$ java -version         #若是打印出以下版本信息，則說明安裝成功
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

安裝 Scala
　　官方下載Scala2.12.3，一樣在~/workspace中解壓.

tar -zxvf scala-2.12.3.tgz

　　再次修改環境變量sudo vi /etc/profile，添加如下內容：

export SCALA_HOME=$WORK_SPACE/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin

　　一樣的方法使環境變量生效，並驗證 scala 是否安裝成功

$ source /etc/profile   #生效環境變量
$ scala -version        #若是打印出以下版本信息，則說明安裝成功
Scala code runner version 2.12.3 -- Copyright 2002-2017, LAMP/EPFL and Lightbend, Inc.

2.安裝配置 Hadoop YARN
下載解壓
　　從官網下載 hadoop2.8.1 版本，一樣在~/workspace中解壓。

tar -zxvf hadoop-2.8.1.tar.gz

配置 Hadoop
　　cd ~/workspace/hadoop-2.8.1/etc/hadoop進入hadoop配置目錄，須要配置有如下7個文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144

在yarn-env.sh中配置JAVA_HOME

# The java implementation to use.
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144

在slaves中配置slave節點的ip或者host

slave1
slave2

修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000/</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/home/tx/workspace/hadoop-2.8.1/tmp</value>
    </property>
</configuration>

修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/tx/workspace/hadoop-2.8.1/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

修改mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8035</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>

　　將配置好的hadoop-2.8.1文件夾分發給全部slaves

scp -r ~/workspace/hadoop-2.8.1 tx@slave1:~/workspace/hadoop-2.8.1

啓動 Hadoop
　　在 master 上執行如下操做，就能夠啓動 hadoop 了。

cd ~/workspace/hadoop-2.8.1     #進入hadoop目錄
bin/hadoop namenode -format     #格式化namenode
sbin/start-dfs.sh               #啓動dfs 
sbin/start-yarn.sh              #啓動yarn

驗證 Hadoop 是否安裝成功
　　能夠經過jps命令查看各個節點啓動的進程是否正常。在 master 上應該有如下幾個進程：

$ jps  #run on master
3407 SecondaryNameNode
3218 NameNode
3552 ResourceManager
3910 Jps

　　在每一個slave上應該有如下幾個進程：

$ jps   #run on slaves
2072 NodeManager
2213 Jps
1962 DataNode

　　或者在瀏覽器中輸入 http://master:8088 ，應該有 hadoop 的管理界面出來了，並能看到 slave1 和 slave2 節點。
　　此時，若是你發現slave中datanode沒有啓動，則將slave的tmp、data、node文件所有刪除，重啓hadoop便可解決問題。
3. Spark安裝
下載解壓
　　進入官方下載地址下載最新版 Spark。我下載的是 spark-2.2.0-bin-hadoop2.7.tgz，你會發現下得賊慢，這時候就用迅雷下載後關機功能吧。。
在~/workspace目錄下解壓

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0    #原來的文件名太長了，修改下

配置 Spark

cd ~/workspace/spark-2.2.0/conf    #進入spark配置目錄
cp spark-env.sh.template spark-env.sh   #從配置模板複製
vi spark-env.sh     #添加配置內容

　　在spark-env.sh末尾添加如下內容（這是個人配置，你能夠自行修改）：

export SCALA_HOME=/home/tx/workspace/scala-2.12.3
export JAVA_HOME=/home/tx/workspace/jdk1.8.0_144
export HADOOP_HOME=/home/tx/workspace/hadoop-2.8.1
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_MASTER_IP=master
SPARK_LOCAL_DIRS=/home/tx/workspace/spark-2.2.0
SPARK_DRIVER_MEMORY=1G

　　注：在設置Worker進程的CPU個數和內存大小，要注意機器的實際硬件條件，若是配置的超過當前Worker節點的硬件條件，Worker進程會啓動失敗。
　　vi slaves在slaves文件下填上slave主機名：

slave1
slave2

　　將配置好的spark-2.2.0文件夾分發給全部slaves

scp -r ~/workspace/spark-2.2.0 tx@slave1:~/workspace/

啓動Spark

sbin/start-all.sh

驗證 Spark 是否安裝成功
　　用jps檢查，在 master 上應該有如下幾個進程：

$ jps
7949 Jps
7328 SecondaryNameNode
7805 Master
7137 NameNode
7475 ResourceManager

　　在 slave 上應該有如下幾個進程：

$jps
3132 DataNode
3759 Worker
3858 Jps
3231 NodeManager

　　進入Spark的Web管理頁面： http://master:8080
4. 運行示例

#本地模式兩線程運行
./bin/run-example SparkPi 10 --master local[2]
#Spark Standalone 集羣模式運行
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://master:7077 \
  lib/spark-examples-1.3.0-hadoop2.4.0.jar \
  100
#Spark on YARN 集羣上 yarn-cluster 模式運行
./bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn-cluster \  # can also be `yarn-client`
    lib/spark-examples*.jar \
    10

本人遇到的問題:

1: 執行sbin/start-all.sh後，slave節點沒法啓動，報錯提示鏈接spark://Spark-Master:7077失敗，在網上找了不少資料後沒法解決問題，後面找到了一個方法是分別執行 sbin/start-master.sh [master-ip] , sbin/start-slave.sh [master-ip] 來執行解決，後面本身想ip能夠應該就是hostname不匹配的緣由,由於本身master機器的hostname爲Spark-Master，把 master-ip Spark-Master 註冊到/etc/hosts裏面後而後分發到slave機器，從新執行sbin/start-all.sh 正常啓動，節點也能夠看到了.

2: HDFS啓動後在master:50070上訪問點擊tmp文件夾報Permission denied: user=dr.who, access=READ_EXECUTE, inode="/tmp":root:supergroup:drwx-wx-wx ，根據網上查找資料後執行 hdfs dfs -chmod -R 755 /tmp 能夠解決，但後面啓動spark-shell後報錯The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwxr-xr-x,在此看到提示沒有寫的權限，執行 hdfs dfs -chmod -R 777 /tmp ,解決問題