Maven編譯Spark程序jar包體積大，上傳時間長的完美解決方案

問題 大家使用Maven編譯Spark程序打包可能會遇到下邊的情況： 打一個jar包花費長達3分鐘的時間 一個jar包的體積200多MB，如果依賴多可能會更大 再加上公司這種佛系網絡，只能喝喝茶，談談人生與理想了 解決方案 我們可以使用下列步驟來解決： 在HDFS創建一個目錄來緩存程序依賴的jar包， 這裏要注意權限問題，保證該目錄下的文件可以正常讀取 hadoop fs -mkdir /user

>>阅读原文<<