idea構建spark開發環境,並本地運行wordcount

一、首先如今idea,官網:https://www.jetbrains.com/idea/ide

二、安裝jdk1.8,scala2.11oop

三、下載idea後,須要在idea中安裝scala的插件,安裝的方式以下:idea

File--->settings--->Plugins--->輸入scala(下圖是我已經安裝好了)spa

三、配置spark依賴包插件

下載spark相關的包spark-2.1.1-bin-hadoop2.7.tgz 並將spark相關的jars依賴包添加到項目的library中,具體操做以下:scala

選中項目,按F43d

添加依賴包以下所示:(注意後面必須是Compile)blog

四、出現的問題:hadoop

 (1)Error:(9, 8) App is already defined as object Appspark

object App {}

 

這種問題是由於設置了多個source。只須要src爲source便可。

相關文章
相關標籤/搜索