Eclipse+maven+scala2.11.8+spark2.0.0的環境部署

     主要在maven-for-scalaIDE糾結了,由於在eclipse版本是luna4.x 裏面有本身帶有的maven。apache

根據網上面無腦的下一步下一步,出現了錯誤,在此講解各個插件的用途,以此新人看見了,少走一些彎路。eclipse

其實主要的問題是本身獨立去下載scala插件,把scala依賴包拷貝到eclipse的plugins和features裏面,而後maven也是本身下載手動修改了maven

Installations裏面我在add加入我本身下載的maven的路徑,而後修改了maven裏面confg配置文件裏面的settings.xml文件,加入了工具

 

 仍是別本身爲難本身,直接用工具自身的就好。因此上面就不要用。url

還有由於maven已是整合到eclipse(eclipse luna 4. 爲高版本)不要用eclipse-》help-》spa

以此開始分割線------------------------------------------------------------------------------開始步驟.net

首先在eclipse-》help-》Eclipse Marketpalce 裏面搜索scala,(這是在安裝scala的IDE scala運行環境),我是借鑑別的安裝的@插件

下面是複製別人的,和他作的沒有太大的出入。就是個人是spark2.0.0和scala 2.11.8 版本有點不同而已scala

準備條件

我用的Eclipse版本 
Eclipse Java EE IDE for Web Developers. 
Version: Luna Release (4.4.0)code

我用的是Eclipse for Java EE, 這個和Eclipse 是同樣的 
最好是用高版本的Eclipse,版本過低的話不支持Scala-IDE

1.安裝Scala-IDE

在Eclipse中開發Scala程序須要有scala插件,咱們如今安裝scala插件 
下面是安裝過程截圖 
Scala IDE用於提供scala語言的開發環境。直接在Marketplace下載安裝,安裝後以下圖所示 


2.安裝m2e-scala插件

m2e-scala用來支持scala開發中對maven的一些定製功能。經過eclipse的Install New Software安裝。 
安裝過程 
1.Help->Install New Software 
 
2.輸入m2e-scala下載的url 
這一步我是跳過的,以前每次進行完這一步,個人Eclipse的maven插件反而找不到了,這個Eclipse自帶的是 
m2e-eclipse插件,每次一安裝m2e-scala插件後就找不到maven了,索性我就沒進行這一步,用Eclipse自帶的 m2e-eclipse. 
以下圖 

url爲:http://alchim31.free.fr/m2e-scala/update-site/ 
這裏能夠僅勾選第三項(圖中紅框所示) 
 
3.安裝完成後,可在Help->Installation Details中查看 

3.新建Eclipse+scala+maven工程

新建maven工程 
 
此時的maven的Archetype須要設置爲 org.scala-tools.archetypes 
若是沒有安裝Scala-IDE的話,會找不到org.scala-tools.archetypes這個類別 
而後Finish 
 
此時建立的工程還不是scala的工程,在項目名稱上點擊右鍵 


點擊 Add Scala Nature後項目才轉換爲scala-maven項目 
而後pom.xml報下圖中的錯誤,解決辦法 
在 plugins 的外層加標籤

解決方法: 
 
此時又報錯 



意思是我有多個scala-library庫的構建路徑 
一個是scala-IDE插件帶的,一個是maven庫中的 
而且maven中自動設置的是scala版本是2.7.0的 
 
解決方法: 
把pox.xml中的scala-version改爲和scala-IDE的版本同樣 
這時候仍是提示有多個scala-library的構建路徑,可是不報錯了

 

咱們用一個構建路徑,把其他的一個去掉 
這裏我把pom.xml中的scala-library 註釋掉,只用scala-IDE的庫 
 
最後把自帶的‘App.scala中的代碼刪除 
這樣maven+scala的項目就成功搭建了。

4. Eclipse+maven+scala+spark

在pom.xml中加入spark的依賴 
個人spark的版本是 
 
這個版本的依賴 

<dependency> 
<groupId>org.apache.spark</groupId> 
<artifactId>spark-core_2.11</artifactId> 
<version>1.2.1</version> 
</dependency> 

我剛開始用的是 spark-core_2.10 ,結果報錯,後來換成spark-core_2.11才合適,2.11是對應的scala版本 
而後一陣狂下在spark的依賴,最後是這個樣子滴

 

終於把scala+maven+spark的環境搭建成功了,以前被maven那一步折騰的快瘋了,最後索性沒使用maven-for-scalaIDE

相關文章
相關標籤/搜索