Mac上配置IntelliJ IDEA的Spark源碼閱讀環境

文章目錄

• 環境準備
• 主要工具/軟件
• Git 安裝
• IntelliJ IDEA 下載及 Scala 插件安裝
• sbt 安裝
• 基本步驟
• 獲取git目錄
• 在IDEA中構建spark
• IDEA中查看代碼

環境準備

主要工具/軟件

1. git
2. Intellij IDEA & Scala Plugin
3. sbt

Git 安裝

IntelliJ IDEA 下載及 Scala 插件安裝

IJ IDEA 下載鏈接： https://www.jetbrains.com/idea/download/#section=mac
安裝完IDEA後，進入偏好設置，在搜索框搜索scala，而後安裝scala 插件。

sbt 安裝

Mac 我安裝了Homebrew，因此使用的如下代碼安裝sbt：

$ brew install sbt@1

其餘安裝方法請參閱官方文檔

基本步驟

獲取git目錄

1. Fork apache spark 項目
2. Clone spark目錄到本地
   $ git clone git@github.com:lestatzhang/spark.git
3. 保持fork後的原項目同步

   $ cd spark;
   $ git remote -v;
   origin	git@github.com:lestatzhang/spark.git (fetch)
   origin	git@github.com:lestatzhang/spark.git (push)
   $ git remote add upstream https://github.com/apache/spark.git;
   $ git remote -v;
   origin	git@github.com:lestatzhang/spark.git (fetch)
   origin	git@github.com:lestatzhang/spark.git (push)
   upstream	https://github.com/apache/spark.git (fetch)
   upstream	https://github.com/apache/spark.git (push)

4. 抓取原項目的修改記錄

   $ git fetch upstream

5. 同步遠端項目到本地

   $ git pull upsteam master
   From https://github.com/apache/spark
   * branch                  master     -> FETCH_HEAD
   Already up-to-date.

6. 創建一個新的分支用於本地查看
   $ git checkout -b dev

在IDEA中構建spark

1. 切換到dev分支
   $ git checkout dev
2. 在IDEA中利用打開spark項目的pom.xml來打開整個spark項目
3. 進入spark的安裝目錄，使用sbt構建spark項目(花了將近一個多小時)，考慮到多是Maven中央源在國內下載比較慢，所以能夠再 ~/.m2 下的settings.xml 中添加阿里雲的源，速度會快不少。

   $ build/sbt assembly
   Attempting to fetch sbt
   ...
   [info] Done packaging.
   [success] Total time: 1872 s, completed Feb 17, 2019 1:53:19 PM
   
   $ build/sbt package

4. 驗證安裝是否成功
   $ bin/spark-shell

IDEA中查看代碼