Intellij-idea工具開發spark常見問題解決備案

IntelliJ IDEA開發Spark1.4.0環境部署

1：IDEA的安裝
      官網jetbrains.com下載IntelliJ IDEA，有Community Editions 和& Ultimate Editions，前者免費，用戶能夠選擇合適的版本使用。
根據安裝指導安裝IDEA後，須要安裝scala插件，有兩種途徑能夠安裝scala插件：

• 啓動IDEA -> Welcome to IntelliJ IDEA -> Configure -> Plugins -> Install JetBrains plugin... -> 找到scala後安裝。

• 啓動IDEA -> Welcome to IntelliJ IDEA -> Open Project -> File -> Settings -> plugins -> Install JetBrains plugin... -> 找到scala後安裝。

若是你想使用那種酷酷的黑底界面，在File -> Settings -> Appearance -> Theme選擇Darcula，同時須要修改默認字體，否則菜單中的中文字體不能正常顯示。

2：創建Spark應用程序
      下面講述如何創建一個Spark項目week2，該項目包含3個object：

• 取自spark examples源碼中的SparkPi

• 計詞程序WordCount1

• 計詞排序程序WordCount2

A：創建新項目

• 建立名爲dataguru的project：啓動IDEA -> Welcome to IntelliJ IDEA -> Create New Project -> Scala -> Non-SBT -> 建立一個名爲week2的project（注意這裏選擇本身安裝的JDK和scala編譯器） -> Finish。

• 設置week2的project structure

  • 增長源碼目錄：File -> Project Structure -> Medules -> week2，給week2建立源代碼目錄和資源目錄，注意用上面的按鈕標註新增長的目錄的用途。

 

• 增長開發包：File -> Project Structure -> Libraries -> + -> java ->  選擇

  • /app/hadoop/spark100/lib/spark-assembly-1.4.0-hadoop2.6.0.jar

  • /app/scala2104/lib/scala-library.jar可能會提示錯誤，能夠根據fix提示進行處理

  •  

B：編寫代碼
      在源代碼scala目錄下建立1個名爲week2的package，並增長3個object（SparkPi、WordCoun一、WordCount2）：

C：生成程序包
      生成程序包以前要先創建一個artifacts，File -> Project Structure -> Artifacts  -> + -> Jars -> From moudles with dependencies，而後隨便選一個class做爲主class。

對artifacts進行配置，修改Name爲week2，刪除Output Layout中week2.jar中的幾個依賴包，只剩week2項目自己。

3.Build -> Build Artifacts -> week2 -> rebuild進行打包，通過編譯後，程序包放置在out/artifacts/week2目錄下，文件名爲week2.jar。

設置本地運行，在IDEA的右上角-點開Edit Configurations

4.設置本地運行,在Vm options:上填寫：-Dspark.master=local ，Program arguments上填寫：local

5.點擊run運行，run前先開啓本機的spark