搭建 Hadoop2.7.2 + Spark1.6環境

 

服務器上已經有了 hadoop2.7.2環境，此次只用配置spark1.6就能夠。

服務器操做系統爲centOS6.5

一、安裝Scala      

下載地址：http://www.scala-lang.org/download/  

注：我下載的是scala-2.11.8.tgz

將壓縮上傳至/usr/local 目錄  

• 解壓縮

tar -zxvf scala-2.11.8.tgz

• 作軟聯接

ln -s scala-2.11.8 scala 

• 設置環境變量

vim /etc/profile
#追加以下內容
export SCALA_HOME=/usr/scala/scala-2.11.7
export PATH=$PATH:$SCALA_HOME/bin

• 使環境變量生效

source /etc/profile

• 測試環境變量設置

scala -version

二、Spark安裝與配置

下載： http://spark.apache.org/downloads.html 

下載的版本：spark-1.6.1-bin-hadoop2.6.tgz

將壓縮文件上傳至/usr/local 目錄  

• 解壓縮

tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz

• 作軟聯接

ln -s spark-1.6.1-bin-hadoop2.6.tgz spark

• 設置環境變量

vim /etc/profile
#追加以下內容
export SPARK_HOME=/usr/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

• 使環境變量生效

source /etc/profile

• 測試環境變量設置

spark-shell --version

• 配置Spark

• 修改spark-env.sh

cd /usr/local/spark/conf/
cp spark-env.sh.template spark-env.sh
vi spark-env.sh
#追加以下內容
export SCALA_HOME=/usr/local/scala
export JAVA_HOME=/usr/local/jdk
export SPARK_MASTER_IP=192.168.31.213
export SPARK_WORKER_MEMORY=1024m
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

• 啓動Spark

start-all.sh 
#中止命令 stop-all.sh

• 提交任務到Spark集羣

spark-submit --master spark://192.168.31.213:7077 --class 主函數入口 --name 本身起個名稱  jar包的全路徑
例：spark-submit --master spark://192.168.31.213:7077 --class cn.crxy.dataming.tfidf.TFIDF  --name tfidf tfidf.jar

• 提交任務到yarn中

spark-submit  --master yarn-cluster --class cn.crxy.dataming.tfidf.TFIDF  --name tfidf tfidf.jar

• 使用web查看任務運行狀態   http://192.168.31.213:8088/