Idea 編寫 Spark 示例代碼並打包成Jar

 說明：本人是在Linux下搭建的單機Spark環境，也是在Linux下使用Idea14.02進行代碼編輯

     1. 打開IDEA，在歡迎界面從右下角的Configure -> Plugins進入，安裝Scala插件

 

    2.從左下角的Install JetBrains plugin進入，再在搜索輸入框中輸入 scala，因爲我已經裝好scala插件了，因此右側出現的是Uninstall plugin ;若沒有裝好scala插件，應該會出現 Install plugin按鈕，點擊安裝，裝好後會要求重啓IDEA.

 

 

3.配置默認JDK，以下圖

 

進入後會看到 No SDK

點擊New

找到你的Java JDK所在目錄

 

4.新建項目

 

5.選擇Scala 和 SBT。其實我後面並無對SBT的配置文件進行編輯，以前編輯過sbt的配置文件，可是因爲網絡緣由，部分包一直下載不下來，因此乾脆不用sbt了，我只是爲了讓它自動生成一些目錄而已。

 

 

6.在如圖所示的scala目錄中新建scala object文件

 

 

輸入相應的測試代碼：

 

7.打包相關的配置

 

找到spark安裝目錄下的lib目錄，也能夠從其它機器上將須要的jar拷貝過來：

 

 

點

擊Main Class後面的按鈕，選擇main函數

 

 

下圖中右側藍色的包能夠刪掉，只留最後的  'sparktest' compile output那一項便可，不然打好的包會比較大，我以前只寫了幾行代碼，可是把scala和spark相關的包都包含進去了，因此一個包有100多M。

 

8.開始打包

 

打包好後，應該就能看到對應的ja包了

9.進行測試：

 

bin/spark-submit --master spark://macor:7077 --class getSum /root/IdeaProjects/SParkTest/out/artifacts/sparktest_jar/sparktest.jar

 

 

 

執行正確：