spark on centos6.5 安裝

第一步在centos 6.5上安裝java 運行環境

http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

第二步安裝hadoop，去

http://hadoop.apache.org/上下一個

http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.5.0/hadoop-2.5.0.tar.gz

解壓縮便可

第三步要裝scala，去

http://www.scala-lang.org/download/上下一個

http://downloads.typesafe.com/scala/2.11.2/scala-2.11.2.rpm?_ga=1.193880237.1644075876.1409819439

在centos上直接rpm安裝便可

第四步下載spark

http://spark.apache.org/downloads.html

根據本身的hadoop版本挑選一個預編譯的spark，如（http://www.apache.org/dyn/closer.cgi/spark/spark-1.0.2/spark-1.0.2-bin-hadoop2.tgz），下完解壓縮便可

或者下源碼包本身編譯（http://d3kbcqa49mib13.cloudfront.net/spark-1.0.2.tgz），本身編譯maven可能被牆。

若是第四步選的是源碼包，那還有第五步編譯

即解壓縮spark源碼包之後，進入源代碼目錄執行sbt/sbt assembly，本身就會下載相應文件進行編譯。

最後一步執行spark目錄下的bin/spark-shell

在此以前記得打開hadoop的服務，否則在執行spark-shell的時候會報錯

spark java.net.UnknownHostException: spark: spark: Name or service not known