Spark入門教程（二）Spark2.2源碼編譯及安裝配置

時間 2019-11-26

標籤 spark 入門教程 spark2.2 源碼編譯安裝配置欄目 Spark 简体版

原文原文鏈接

Spark2.2源碼下載

點此進入官網下載地址：下載Spark
html

spark官網下載截圖

//下載好後用傳輸工具傳輸到咱們的linux上並解壓縮
tar -zxvf spark-2.2.0.tgz

源碼編譯

準備工做

根據Spark官方文檔可知，須要java8+,maven 3.3.9+版本java

spark編譯需知

確認jave8.0已成功安裝

檢驗java是否成功安裝

確認Maven3.3.9已成功安裝

檢驗maven是否成功安裝

若是不知道如何安裝，參考以下步驟：
（1）點此下載maven
（2）解壓縮：
tar -zxvf apache-maven-3.3.9-bin.tar.gz
（3）配置環境變量：
vim /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.3.9
//根據機器配置爲maven分配儘量多的內存，可使得編譯更加快速
export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1024m"
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH
//最後不要忘記source命令使得配置當即生效
source /etc/profilelinux

確認機器可以連接外網

vim /etc/resolv.conf
namserver 8.8.8.8 nameserver 8.8.4.4
//檢驗是否成功連接外網
ping www.baidu.comshell

開始編譯

cd /usr/local/spark-2.2.0
./dev/make-distribution.sh --name custom-spark --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarnapache

--name以後的custom-spark是編譯好後生成的那個tgz文件的文件名，能夠自定義
Phadoop要根據本身已經安裝好了的hadoop版本寫
若是要運行R語言請加上-Psparkr，不然請省略以提升編譯速度
若是要使用mesos請加上-Pmesos，不然請省略以提升編譯速度

編譯須要40分鐘左右：成功後在spark-2.2.0目錄下出現spark-2.2.0-bin-custom-spark.tgz包
將它移動到其餘目錄下：mv spark-2.2.0-bin-custom-spark.tgz /usr/local/vim

Scala2.11.8下載安裝

點此下載：scala-2.11.8.tgz
tar -zxvf scala-2.11.8.tgz
配置SCALA_HOME環境變量
vim /etc/profile
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
source /etc/profile

Spark配置

進入conf目錄將spark-env.sh.template和slaves.template更名
mv spark-env.sh.template spark-env.sh
mv slaves.template slaves
配置spark-env.sh：加上這幾個環境變量便可
export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.0-cdh5.11.1/etc/hadoop
export SCALA_HOME=/usr/local/scala-2.11.8
集羣配置：配置slaves，把你的集羣中每一個機器的主機名寫上去便可
master
slave1
slave2
配置好以後分發到集羣中其餘機器上
scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave1:/usr/local/
scp -r spark-2.2.0-bin-hadoop2.6.0-cdh5.11.1 slave2:/usr/local/