spark最新源碼下載並導入到開發環境下助推高質量代碼(Scala IDEA for Eclipse和IntelliJ IDEA皆適用）（以spark2.2.0源碼包爲例）（圖文詳解） 使用 Inte

 

 

 

 

 

　　很少說，直接上乾貨！

 

　　

前言

　   其實啊，不管你是初學者仍是具有了有必定spark編程經驗，都須要對spark源碼足夠重視起來。

　　本人，肺腑之己見，想要成爲大數據的大牛和頂尖專家，多結合源碼和操練編程。

 

 

 

　　好一段時間以前，寫過這篇博客

使用 IntelliJ IDEA 導入 Spark 最新源碼及編譯 Spark 源代碼（博主強烈推薦）

 

 

　　最近開始進行更新，但願能幫助到開發的你。

 

 

 

 

下載源碼

　　去github官網 下載

 

 

 

 

 

 

 

 

 

 　　spark最新源碼下載並導入到開發環境下助推高質量代碼(Scala IDEA for Eclipse適用）（以spark2.2.0源碼包爲例）

　　而後解壓縮爲目錄，scalaIDE不支持tgz的文件關聯，只支持jar，zip。

　　那麼就 使用文件目錄關聯就能夠了，關聯spark2.0的目錄就能夠了，很簡單。

 

 

 　　好比，我這裏放在D:\SoftWare

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　我這裏爲了區分，本身更名爲spark-2.2.0-src

 

 

 

 

spark最新源碼下載並導入到開發環境下助推高質量代碼(IntelliJ IDEA適用）（以spark2.2.0源碼包爲例）

 　　　　前期博客，見

如何在IDEA裏給大數據項目導入該項目的相關源碼（博主推薦）（圖文詳解）

 

 

 

 

 

 

 

 

 

 

 方式1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 方式2

    若是是maven方式來導入源碼的話

 

 

 

 

點擊進去，爲何會報紅錯誤，maven沒改

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

       因此，我的建議，仍是maven方式好啊

 

 

 

 

 

 

 

 

 方式3

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

　　　　若是是Scala IDEA for Eclipse，則好比把spark-1.6.1

 

 

 

 

 

 

 

 

 

         

          通過解壓，我這裏特地改下名字，爲spark-1.6.1-src

 

 

 

 

 

 

 

 

 

 

 

                注意：這不侷限於spark，好比Hadoop、Hive、HBase....等其餘大數據組件的源碼同樣的步驟，這裏很少贅述。固然其餘人確定也有其餘的步驟來閱讀。

          好比，說在IDEA裏能夠直接點擊進去，maven會自動下載等，這個我很少評論。