在Windows上build Spark

在本機（Windows 8）上安裝spark玩一玩，Spark的Quick Start上沒有指明具體步驟，本身Build好了以後把步驟記錄一下。

1. 首先，到Spark的官網上下載Spark的壓縮包，而後解壓縮到本地文件夾。我下的是Spark 1.1.0，目前最新的release，連接spark-1.1.0.tgz。

2. 按照文檔上運行bin/spark-shell，會提示找不到所需的jar包，須要從新build生成這個jar包。

3. 首先確認本機是否已安裝Scala和SBT，scala須要2.10.x版本，sbt我用的是0.13，若是沒有安裝的就從網上下載安裝。將sbt的bin添加到windows path環境變量下，確保能夠運行。

4. 到Spark的root目錄下，運行sbt package，這會將spark全部依賴的lib下載到本地的ivy repository（sbt默認使用ivy repository)

5. 第四步成功完成以後，spark依賴的庫已經具有，運行sbt assembly，這會將spark依賴的庫和spark自己assemble成一個很大的jar包。這步完成後，你會在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar這兩個jar包

上述步驟完成以後，就能夠在bin下運行spark-shell，能夠成功進入shell，進行操做。