Spark-基礎-Spark編譯與部署--Spark編譯安裝

1、編譯Spark(1.1版本) Spark可以通過SBT和Maven兩種方式進行編譯,再通過make-distribution.sh腳本生成部署包。SBT編譯需要安裝git工具,而Maven安裝則需要maven工具,兩種方式均需要在聯網下進行,通過比較發現SBT編譯速度較慢(原因有可能是1、時間不一樣,SBT是白天編譯,Maven是深夜進行的,獲取依賴包速度不同 2、maven下載大文件是多線程
相關文章
相關標籤/搜索