win10下Spark的環境搭建

 

win10下Spark的環境搭建

2018-08-19  18:36:45

---

1、jdk 1.8.0 安裝與配置

2、scala 2.11.8 安裝與配置http://www.scala-lang.org/download/2.11.8.html

上面兩步見《win10下安裝scala》

3、spark 2.3.0 安裝與配置

一、下載spark:官網地址：http://spark.apache.org/downloads.html  

二、下載完成後解壓到D盤根目錄下便可。D:\spark-2.3.0-bin-hadoop2.6。

三、配置Path：將D:\spark-2.3.0-bin-hadoop2.6\bin添加到Path中。

四、經過spark-shell進入到spark交互式命令行模式下

上面能夠看見安裝的scala版本、jdk版本、spark版本。

注意：上面出現了異常信息，是因爲hadoop致使的。因此還要下載安裝hadoop進行相關配置。

 

4、hadoop 2.6.4 安裝與配置

一、下載hadoop：官方地址：http://hadoop.apache.org/releases.html

二、解壓到D盤根目錄下。

三、配置環境變量：HADOOP_HOME 和 Path。

四、winutils下載：https://github.com/steveloughran/winutils

下載對應版本的bin目錄將hadoop文件夾中的bin目錄替換掉。

五、再次spark-shell，就不會出現異常信息了。

 

六、訪問webUI：

 

 

這樣win10環境下本地的spark環境就搭建完成了！！！

---

下面就能夠編程學習了。。。。。

https://blog.csdn.net/u011513853/article/details/52896230 （ IDEA和maven）