Spark任務提交jar包依賴解決方案

一般咱們將spark任務編寫後打包成jar包，使用spark-submit進行提交，由於spark是分佈式任務，若是運行機器上沒有對應的依賴jar文件就會報ClassNotFound的錯誤。 下面有三個解決方法：web 方法一：spark-submit –jars 根據spark官網，在提交任務的時候指定–jars，用逗號分開。這樣作的缺點是每次都要指定jar包，若是jar包少的話能夠這麼作，可是

>>阅读原文<<