Spark安裝教程

注：該教程轉自廈門大學大數據課程學習總結

Spark的安裝過程較爲簡單，在已安裝好 Hadoop 的前提下，通過簡單配置便可使用。

安裝Spark

1. sudo tar -zxf ~/下載/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/
2. cd /usr/local
3. sudo mv ./spark-1.6.2-bin-without-hadoop/ ./spark
4. sudo chown -R hadoop:hadoop ./spark # 此處的 hadoop 爲你的用戶名

安裝後，還須要修改Spark的配置文件spark-env.sh

1. cd /usr/local/spark
2. cp ./conf/spark-env.sh.template ./conf/spark-env.sh

編輯spark-env.sh文件(vim ./conf/spark-env.sh)，在第一行添加如下配置信息:

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

配置完成後就能夠直接使用，不須要像Hadoop運行啓動命令。
經過運行Spark自帶的示例，驗證Spark是否安裝成功。

1. cd /usr/local/spark
2. bin/run-example SparkPi

執行時會輸出很是多的運行信息，輸出結果不容易找到，能夠經過 grep 命令進行過濾（命令中的 2>&1 能夠將全部的信息都輸出到 stdout 中，不然因爲輸出日誌的性質，仍是會輸出到屏幕中）:

1. bin/run-example SparkPi 2>&1 | grep "Pi is"

過濾後的運行結果以下圖示，能夠獲得π 的 5 位小數近似值：