Windows下單機安裝Spark開發環境

機器：windows 10 64位。

因Spark支持java、python等語言，因此嘗試安裝了兩種語言環境下的spark開發環境。

一、Java下Spark開發環境搭建

1.一、jdk安裝

安裝oracle下的jdk，我安裝的是jdk 1.7，安裝完新建系統環境變量JAVA_HOME，變量值爲「C:\Program Files\Java\jdk1.7.0_79」，視本身安裝路勁而定。

同時在系統變量Path下添加C:\Program Files\Java\jdk1.7.0_79\bin和C:\Program Files\Java\jre7\bin。

1.2 spark環境變量配置

去http://spark.apache.org/downloads.html網站下載相應hadoop對應的版本，我下載的是spark-1.6.0-bin-hadoop2.6.tgz，spark版本是1.6，對應的hadoop版本是2.6

解壓下載的文件，假設解壓 目錄爲：D:\spark-1.6.0-bin-hadoop2.6。將D:\spark-1.6.0-bin-hadoop2.6\bin添加到系統Path變量，同時新建SPARK_HOME變量，變量值爲：D:\spark-1.6.0-bin-hadoop2.6

1.3 hadoop工具包安裝

spark是基於hadoop之上的，運行過程當中會調用相關hadoop庫，若是沒配置相關hadoop運行環境，會提示相關出錯信息，雖然也不影響運行，可是這裏仍是把hadoop相關庫也配置好吧。

1.3.1 去下載hadoop 2.6編譯好的包https://www.barik.net/archive/2015/01/19/172716/，我下載的是hadoop-2.6.0.tar.gz，

1.3.2 解壓下載的文件夾，將相關庫添加到系統Path變量中：D:\hadoop-2.6.0\bin；同時新建HADOOP_HOME變量，變量值爲：D:\hadoop-2.6.0

1.4 eclipse環境

直接新建java工程，將D:\spark-1.6.0-bin-hadoop2.6\lib下的spark-assembly-1.6.0-hadoop2.6.0.jar添加到工程中就能夠了。

二、Python下Spark開發環境搭建

2.1 安裝python,並添加到系統變量path中：C:\Python27和C:\Python27\Scripts

2.2 重複1.2和1.3步驟

2.3 將spark目錄下的pyspark文件夾（D:\spark-1.6.0-bin-hadoop2.6\python\pyspark）複製到python安裝目錄C:\Python27\Lib\site-packages裏

2.4 在cmd命令行下運行pyspark，而後運行pip install py4j安裝相關庫。

2.5 安裝pycharm開始編程吧。

 

 推薦一個本身業餘時間開發的網盤搜索引擎，360盤搜（www.360panso.com）