編譯安裝spark

1.官網下載未編譯的spark的jar包，選擇下載的時候選擇source code

2.安裝jdk，maven。

3.修改spark根目錄下的pom.xml文件（這一步不要作，作了反而會致使編譯不過，由於使用-Phadoop-2.3參數是已經傳遞進去了）。主要是修改版本。裏面有不少版本，只要修改你自己的對應的版本，好比：jdk 1.7，hadoop 2.3.0，hbase 0.98.1-hadoop2，hive 0.12.0等等。你自己沒用到的版本不用配置。

4.添加maven參數：export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"

你能夠添加到~/.bashrc中。這個maven參數在腳本make-distribution.sh中默認是有的。

5.編譯，使用以下命令，選擇對應的版本。

mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Phive -Phive-thriftserver -DskipTests clean package

6.編譯打包，使用以下命令，選擇對應的版本。這一步會打包。

./make-distribution.sh --tgz --skip-java-test -Phadoop-2.3 -Dhadoop.version=2.3.0 -Pyarn -Phive -Phive-thriftserver

--tgz表明打包，--skip-java-test跳過測試階段，-Pyarn -Phive -Phive-thriftserver把hive，yarn打入進去。

7.若是顯示Build Success，那麼在spark的根目錄下存在spark-1.3.0-bin-~.tgz的安裝包。

 

參考：

Building with build/mvn

spark1.3.0__for_hadoop2.4.1編譯、安裝與初步測試