開發工具之Spark程序開發詳解

一  使用IDEA開發Spark程序

一、打開IDEA的官網地址，地址以下：http://www.jetbrains.com/idea/

 

二、點擊DOWNLOAD，按照本身的需求下載安裝，咱們用免費版便可。

 

三、雙擊ideaIU-15.0.2.exe安裝包，點擊Next。

 

四、選擇安裝路徑，點擊Next。

五、能夠選擇是否建立桌面快捷方式，而後點擊Next。

 

六、點擊Install。

 

七、安裝過程

 

八、點擊Finish，安裝成功

 

九、雙擊IntelliJ IDEA 15.0.2的圖標，打開IntelliJ IDEA。

十、能夠導入本身的設置，沒有就選擇下面的便可，而後點擊OK。

 

十一、選擇本身喜歡的風格

  (1) 風格1

 

(2) 風格2

 

十二、選擇完風格後，點擊Next Default plugins

 

1三、點擊Next Featured plugins

1四、點擊Scala Custom Languages 下面的Install

1五、安裝過程

1六、顯示Installed就表明安裝成功了，而後點擊Start using IntelliJ IDEA。

 

1七、點擊Create New Project，建立新工程。

 

1八、選擇Scala，點擊Next。

1九、填寫Project name和Project location。

20、設置Project SDK，點擊New。

 

2一、點擊New打開的小窗口裏點擊JDK。

 

2二、選擇安裝JDK的路徑，點擊OK

 

2三、Project SDK會變成以下面圖所示，是你安裝的JDK版本

 

2四、設置Scala SDK，點擊Create。

 

2五、選擇這臺機器安裝的2.10.x版本，而後點擊OK。

 

2六、而後就變成如圖所示，而後點擊Finish。

 

2七、出現這個提示，直接點擊OK。

  

2八、出現這個窗口，把Show Tips on Startup勾掉，點擊Close便可。

 

2九、項目建立成功之後的目錄以下：

 

30、下載spark-1.6.0-bin-hadoop2.6.tgz，解壓spark-1.6.0-bin-hadoop2.6.tgz，解壓之後目錄以下：

 

3一、添加Spark的jar依賴，File-> Project Structure -> Libraries，點擊號，選擇Java。

 

3二、進入到解壓之後的spark-1.6.0-bin-hadoop2.6的lib目錄下，選擇spark-assembly-1.6.0-hadoop2.6.0.jar，以下圖所示，而後點擊OK。

 

3三、點擊OK。

 

3四、以下圖所示，而後點擊OK。

 

3五、項目會變成以下圖所示。

 

3六、右擊src -> New -> Package。

 

3七、填寫好包名，點擊OK。

 

3八、右擊com.dt.spark -> New -> Scala Class。

 

3九、Name填寫WordCount，Kind裏選擇Object，點擊OK。

 

40、WordCount裏添加main方法，以下圖。

 

4一、開始編寫Spark WordCount項目，建立SparkConf，設置conf的參數，設置應用程序名稱，使用local模式執行，圖裏的第1步。

 

4二、建立SparkContext對象，圖裏第2步。

 

4三、讀取本地文件，圖裏的第3步。

 

4四、將每一行的字符串拆分紅單個的單詞，圖裏的第4.1步。

 

4五、在單詞拆分的基礎上對每一個單詞實例計數爲1，也就是word => (word, 1)，圖裏4.2步。

 

4六、每一個單詞實例計數爲1的基礎之上統計每一個單詞在文件中出現的總次數，圖裏4.3步。

 

4七、打印計算結果，圖裏的第5步。

 

4八、關閉SparkContext，圖裏的第6步。

 

4九、運行開發的項目，右擊WorkCount.scala文件 -> Run ‘Word Count’。

 

50、看見這樣的結果，就表明成功了。

 

二  使用Scala IDE 開發Spark程序

一、打開Scala IDE for Eclipse的官網，官網地址：http://scala-ide.org/

 

二、點擊Download IDE。

 

三、下載對應的版本。

 

四、scala-SDK-4.3.0-vfinal-2.11-win32.win32.x86_64.zip爲例，解壓縮。

 

五、雙擊打開eclipse.exe。

 

六、選擇一個工做目錄，而後點擊OK。

 

七、在打開的窗口中，File -> New -> Scala Project。

 

八、寫好Project name，點擊Next。

  

九、點擊Finish。

 

十、修改JRE System Library。

 

十一、右擊JRE System Library -> Build Path -> Configure Build Path...。

 

十二、點擊JRE System Library -> Edit。

 

1三、選擇Alternate JRE -> Installed JREs...。

 

1四、點擊Add...。

 

1五、選擇Standard VM，點擊Next。

 

1六、點擊Directory...，選擇本地文件安裝JDK的安裝目錄，點擊Finish。

 

1七、選擇剛纔加入的JDK，點擊OK。

 

1八、下拉列表裏選擇剛纔加入的JDK，點擊Finish。

 

1九、點擊OK。

 

20、設置Scala library container。

 

2一、項目上有右擊 -> Properties。

 

2二、打開的窗口點擊Scala Compiler。

 

2三、Use Project Settings打鉤，打開Scala Installation下拉列表，選擇Latest 2.10 bundle(dynamic)，點擊OK。

 

2四、點擊OK。

 

2五、下載spark-1.6.0-bin-hadoop2.6.tgz，解壓spark-1.6.0-bin-hadoop2.6.tgz，解壓之後目錄以下：

 

2六、添加Spark的jar依賴，項目右擊 -> Build Path -> Configure Build Path...。

 

2七、點擊Libraries -> Add External JARs...。

 

2八、選擇lib目錄下的spark-assembly-1.6.0-hadoop2.6.0.jar文件，點擊打開。

 

2九、點擊OK。

 

30、項目裏建立包，右擊src -> New -> Package。

  

3一、填寫好Name，點擊Finish。

 

3二、建立Scala Object，右擊com.dt.spark -> New -> Scala Object。

 

3三、填寫好Name，點擊Finish。

 

3四、開始編寫WordCount，寫Title。

 

3五、添加main方法。

 

3六、建立SparkConf對象，圖裏的第1步。

 

3七、建立SparkContext對象，圖裏的第2步。

 

3八、讀取本地文件，圖裏的第3步

 

3九、將每一行的字符串拆分紅單個的單詞，圖裏的第4.1步。

 

40、在單詞拆分的基礎上對每一個單詞實例計數爲1，也就是word => (word, 1)，圖裏4.2步。

 

4一、每一個單詞實例計數爲1的基礎之上統計每一個單詞在文件中出現的總次數，圖裏4.3步。

 

4二、打印計算結果，圖裏的第5步。

 

4三、關閉SparkContext，圖裏的第6步。

 

4四、運行項目，右擊WorkCount.scala文件 -> Run As -> Scala Application。

  

4五、看見這樣的結果，就表明成功了。