Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集羣環境搭建--4

接着上篇：http://www.javashuo.com/article/p-swxkwhye-gs.html

接着上篇：http://www.javashuo.com/article/p-yuphtrbr-hc.html

接着上篇：http://www.javashuo.com/article/p-xqxhmddb-hh.html

下面安裝spark

     安裝spark要先安裝scala。

• 安裝spark(2臺機器配置基本相同）

#!/bin/bash
#環境變量文件
PATH_FILE="/etc/profile"
#安裝包路徑
SCALA_TAR="/home/hdp/Downloads/scala-2.11.8.tgz"
SCALA_INSTALL_HOME="/usr/local"
#安裝包路徑
SPARK_TAR="/home/hdp/Downloads/spark-2.0.2-bin-hadoop2.7.tgz"
SPARK_INSTALL_HOME="/usr/local"

#安裝scala

if [ -d $SCALA_INSTALL_HOME/scala ] 
then
    sudo rm -rf $SCALA_INSTALL_HOME/scala
fi

#解壓scala
sudo tar -zxvf $SCALA_TAR -C $SCALA_INSTALL_HOME

#修改文件名稱
sudo mv $SCALA_INSTALL_HOME/scala-2.11.8 $SCALA_INSTALL_HOME/scala

#將scala的全部者修改成hadoop
sudo chown -R hadoop $SCALA_INSTALL_HOME/scala


#設置環境變量
if [ -z $SCALA_HOME ]  
then 
	sudo echo "export SCALA_HOME=\"$SCALA_INSTALL_HOME/scala\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SCALA_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新環境變量
	source /etc/profile
fi

#安裝spark

if [ -d $SPARK_INSTALL_HOME/spark ] 
then
    sudo rm -rf $SPARK_INSTALL_HOME/spark
fi

#解壓spark
sudo tar -zxvf $SPARK_TAR -C $SPARK_INSTALL_HOME

#修改文件名稱
sudo mv $SPARK_INSTALL_HOME/spark-2.0.2-bin-hadoop2.7 $SPARK_INSTALL_HOME/spark

#將spark的全部者修改成hadoop
sudo chown -R hadoop $SPARK_INSTALL_HOME/spark

#設置環境變量
if [ -z $SPARK_HOME ]  
then 
	sudo echo "export SPARK_HOME=\"$SPARK_INSTALL_HOME/spark\"" >> $PATH_FILE
	sudo echo "export PATH=\"\${SPARK_HOME}/bin:\$PATH\"" >> $PATH_FILE
	#刷新環境變量
	source /etc/profile
fi

 

• 配置spark-env.sh,在文件後面加入下列內容：

            注意路徑

• export JAVA_HOME=/usr/lib/jvm/java
  export SCALA_HOME=/usr/local/scala
  export HADOOP_HOME=/usr/local/hadoop
  export YARN_HOME=/usr/local/hadoop
  export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  export YARN_CONF_DIR=$YARN_HOME/etc/hadoop
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$SCALA_HOME/bin
  export SPARK_MASTER_IP=d155
  export SPARK_LOCAL_DIRS=/usr/local/spark
  export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native

  配置slaves文件。加入一行

• d156

  啓動中止  ./sbin/start-all.sh     ./sbin/stop-all.sh

        檢查狀態

       瀏覽器輸入  http://d155:8080/