spark2.2.0編譯及遇到的問題

環境 1）java8 2）hadoop2.7.3 3）scala2.11.2 4）R3.4.4（如果不需要sparkR的話R可以不用） 修改spark目錄下的dev/make-distribution.sh腳本文件 把對應代碼的改成自己對應的版本（可以加快編譯速度不用腳本自行尋找版本） 編譯之前需要安裝一些依賴： sudo apt install pandoc pip install pypand

>>阅读原文<<