Hadoop安裝—Spark安裝

Spark安裝首先要先安裝上Hadoop，而後才能夠安裝Spark。

Spark官網下載：http://spark.apache.org/downloads.html

須要注意的是：Spark對應的hadoop版本，而後上傳至虛擬機

 

安裝步驟：

一、加壓文件，tar -zxvf spark-2.3.0-bin-hadoop2.7.tgz

　　配置環境變量，

　　

 

二、拷貝配置文件，目錄爲./spark/config

　　cp spark-env.sh.template  spark-env.sh

三、編輯文件，vi spark-env.sh，在最後增長以下內容：

　　export SPARK_DIST_CLASSPATH=$(/home/wdd/hadoop-2.9.0/bin/hadoop classpath)

　　指定spark和hadoop進行關聯

四、須要注意的是，所屬組和全部者，以下圖：

　　

五、簡單使用，計算pi的值

　　　./spark-2.3.0-bin-hadoop2.7/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"