windows下安裝spark

一、安裝jdk

二、安裝scala

三、下載spark

spark下載地址

3.1安裝spark

• 將下載的文件解壓到一個目錄，注意目錄不能有空格，好比說不能解壓到C:\Program Files
• 做者解壓到了這裏，
• 將spark的bin路徑添加到path中
• cmd輸入spark-shell，成功安裝啦，有個報錯是由於還沒安裝Hadoop，

四、安裝hadoop

• 因爲spark版本爲spark-2.3.3-bin-hadoop2.7，咱們選擇下2.8.5版本的Hadoop hadoop下載地址

• 解壓

• 添加環境變量，新建一個HADOOP_HOME

• 在path添加

• 到此運行spark-shell還會有沒安裝的時候那個報錯，接下來須要替代Hadoop裏的bin文件來解決這個錯。

五、下載winutils

• 下載地址
• 筆者用的是hadoop2.8.5版本的，下載的winutils上hadoop2.8.3版本的bin，實測也是可行的。
• 接下來將bin替換原來Hadoop中的bin

六、運行spark-shell成功啦