Windows上安裝運行Spark

1.下載Scala: https://www.scala-lang.org/download/

①注意：必須下載官方要求的JDK版本，並設置JAVA_HOME,不然後面將出現不少麻煩！

②Scala當前最新版本爲2.13.0，可是建議不要使用最新的版本，此處下載的是2.11.12

Scala全部版本列表：https://www.scala-lang.org/download/all.html

③設置環境變量

 

2.安裝後在cmd中輸入scala出現以下提示表示成功

 

3.下載Spark:http://spark.apache.org/downloads.html

4.進入spark-2.3.3-bin-hadoop2.7\bin，cmd中輸入spark-shell

①出現下面錯誤，表示須要安裝python。安裝時選擇加到系統路徑中，安裝完cmd中輸入python驗證是否安裝成功。

②出現下面錯誤，表示找不到Hadoop。須要安裝Hadoop並設置HADOOP_HOME的系統路徑。關於Windows下的Hadoop安裝，能夠參考《Windows上安裝運行Hadoop》。

③出現下面的WARN能夠不用理會，正常使用。

若是實在受不了WARN的話，則在spark-2.3.3-bin-hadoop2.7\conf\log4j.properties(默認是有template後綴的，直接去掉這個後綴)中增長

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

④屏蔽後的顯示

 

下面的內容爲使用IDEA寫一個Scala的demo並使用Spark-submit運行。 

5.下載IDEA的Scala插件

 

6.建立Scala的IDEA項目

 

7.選擇相應的JDK和Scala，建立一個HelloWorld項目

 

8.建立一個名字爲Hello的Scala Object，會生成一個Hello.scala文件

 

9.在文件中輸入以下代碼

object Hello { def main(args: Array[String]): Unit = { println("Hello World"); } }

 

10.在IDEA中Run一下，正常顯示

 

11.使用Project Structure->Artifacts打包成HelloWorld.jar

 

 12.將HelloWorld.jar拷貝到spark-2.3.3-bin-hadoop2.7\bin中，在cmd中執行

spark-submit --class Hello HelloWorld.jar

 

以上。