03.搭建Spark集羣(CentOS7+Spark2.1.1+Hadoop2.8.0)

時間 2019-12-02

標籤搭建 spark 集羣 centos7+spark2.1.1+hadoop2.8.0 centos hadoop 欄目 Spark 简体版

原文原文鏈接

接上一篇：https://www.cnblogs.com/yjm0330/p/10077076.htmlhtml

1、下載安裝scala

一、官網下載java

二、spar01和02都創建/opt/scala目錄，解壓tar -zxvf scala-2.12.8.tgznode

三、配置環境變量apache

　　vi /etc/profile 增長一行centos

　　export SCALA_HOME=/opt/scala/scala-2.12.8瀏覽器

　　同時把hadoop的環境變量增長進去，完整版是：bash

export JAVA_HOME=/opt/java/jdk1.8.0_191
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export SCALA_HOME=/opt/scala/scala-2.12.8服務器

export CLASSPATH=$:CLASSPATH:${JAVA_HOME}/lib/
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATHless

　　而後source /etc/profile分佈式

四、驗證

　　scala -version

五、同步spark02配置文件

　　scp /etc/profile spark02:/etc

2、下載安裝spark

一、下載，解壓，同scala，創建/opt/spark目錄

二、配置環境變量

export SPARK_HOME=/opt/spark/spark-2.4.0-bin-hadoop2.7

完整版更新：

export CLASSPATH=$:CLASSPATH:${JAVA_HOME}/lib/
export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH

source /etc/profile

scp /etc/profile spark02:/etc

三、配置conf下文件

cp spark-env.sh.template spark-env.sh

cp slaves.template slaves

vi spark-env.sh

export SCALA_HOME=/opt/scala/scala-2.12.8
export JAVA_HOME=/opt/java/jdk1.8.0_191
export HADOOP_HOME=/opt/hadoop/hadoop-2.8.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_HOME=/opt/spark/spark-2.4.0-bin-hadoop2.7
export SPARK_MASTER_IP=spark01
export SPARK_EXECUTOR_MEMORY=2G

vi slaves

spark02

同步到spark02

scp /opt/spark/spark-2.4.0-bin-hadoop2.7/conf/spark-env.sh spark02:/opt/spark/spark-2.4.0-bin-hadoop2.7/conf/
scp /opt/spark/spark-2.4.0-bin-hadoop2.7/conf/slaves spark02:/opt/spark/spark-2.4.0-bin-hadoop2.7/conf/

3、測試spark

　　由於spark是依賴於hadoop提供的分佈式文件系統的，因此在啓動spark以前，先確保hadoop在正常運行。

　　在hadoop正常運行的狀況下，在spark01（也就是hadoop的namenode，spark的marster節點）上執行命令：

　　cd /opt/spark/spark-2.4.0-bin-hadoop2.7/sbin

　　執行啓動腳本：./start-all.sh

　　在瀏覽器裏訪問Mster機器，個人Spark集羣裏Master機器是spark01，IP地址是192.168.2.245，訪問8080端口，URL是：http://192.168.2.245:8080/

　　用local模式運行一個計算圓周率的Demo。按照下面的步驟來操做。

　　第一步，進入到Spark的根目錄，也就是執行下面的腳本：

　　./bin/spark-submit --class org.apache.spark.examples.SparkPi --master local examples/jars/spark-examples_2.11-2.4.0.jar

　　yarn-client模式：

　　注意執行以前關閉010203的防火牆：

　　centos7.0(默認是使用firewall做爲防火牆，如若未改成iptables防火牆，使用如下命令查看和關閉防火牆)

　　查看防火牆狀態：firewall-cmd --state

　　關閉防火牆：systemctl stop firewalld.service

　　./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client examples/jars/spark-examples_2.11-2.4.0.jar

4、遇到的問題

一、jps命令沒法找到
[root@namenode ~]# jps
bash: jps: command not found...
[root@namenode ~]# find / -name jps
find: ‘/run/user/1001/gvfs’: Permission denied
[root@namenode ~]# rpm -qa |grep -i jdk
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

[root@namenode ~]# yum list *openjdk-devel*

須要安裝openjdk-devel包
[root@namenode ~]# yum install java-1.8.0-openjdk-devel.x86_64
[root@namenode ~]# which jps
/usr/bin/jps

[root@namenode ~]# jps
12995 Jps
10985 ResourceManager
11179 NodeManager
10061 NameNode
10301 DataNode
10655 SecondaryNameNode
二、XShell上傳文件到Linux服務器上

在學習Linux過程當中，咱們經常須要將本地文件上傳到Linux主機上，這裏簡單記錄下使用Xsheel工具進行文件傳輸

1：首先鏈接上一臺Linux主機

2：輸入rz命令，看是否已經安裝了lrzsz，若是沒有安裝則執行 yum -y install lrzsz命令進行安裝。