解決spark streaming重複提交第三方jar包問題

背景： 由於spark streaming每次提交都需要上傳大量jar包到hdfs，爲節約HDFS資源，現只存一份來解決這個問題 組件： CDH 5.13 spark2.2.x 針對cluster模式 對於spark streaming而言，第三方jar包是一個值得探討的問題，相信大部分都是打的源碼包，然後提交jar，想通過–jars $(echo sparklib0.10/*.jar | tr

>>阅读原文<<