Spark 1.0 開發環境構建：maven/sbt/idea

由於我原來對maven和sbt都不熟悉，所以使用兩種方法都編譯了一下。下面記錄一下編譯時候遇到的問題。而後介紹一下若是使用IntelliJ IDEA 13.1構建開發環境。

首先準備java環境和scala環境：

1. jdk 1.7

2. scala 2.11.1

1. maven

首先安裝maven，我安裝的是3.2.3， 能夠直接下載binary。解壓便可用。須要設置一下環境變量：

export MAVEN_HOME=/project/spark_maven/spark/apache-maven-3.2.3
export MAVEN_OPTS="-Xmx4096m -XX:MaxPermSize=4096m"
export PATH=$PATH:$MAVEN_HOME/bin

因爲個人筆記本有16G內存，所以能夠給maven比較大的內存。若是MAVEN_OPTS設置的不合理，那麼會致使OOM的錯誤，具體信息能夠看這裏。

使用如下命令編譯：

mvn -X -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

這裏使用的是Apache Hadoop 2.2，若是使用好比其餘的商業發行版，能夠參照官網的信息去編譯。

等待一段時間，若是沒有error的話，恭喜你編譯成功。下面是編譯成功的結果：

2. sbt

sbt編譯過程比較慢。若是運行sbt說sbt-launch.jar的錯誤，那麼須要手動的安裝如下，能夠看這裏。

實際上使用如下命令既能夠開始編譯了：

./sbt/sbt assembly

有時候因爲網絡問題可能致使編譯hang在某個地方，或者你重啓了，那麼下次開始變異前須要刪除$HOME/.ivy2/

.sbt.ivy.lock

。而後重啓開始。sbt會進行增量編譯。

3. IDEA

將sbt導入idea，先作如下準備工做：

./sbt/sbt gen-idea

若是發生了錯誤，再次進行。如今應該不須要設置代理便可完成了。若是要等待lock，那麼參照上述的方法刪除lock便可。

而後打開IDEA，點擊Import Project：

選擇工程的默認路徑後，選擇SBT Project

選擇auto便可：

點擊Finish即完成了工程的導入。

下面可使用IDEA編譯如下整個工程：

4. IDEA的經常使用快捷鍵：

command ＋ B：跳到變量/函數定義處。

command ＋ N：查找類

command ＋ Shift ＋ N： 查找文件

快一點了，之後更新吧。