Spark sbt-assembly 打包

由於要用spark2.0,而集羣上cdh5.7.1的spark版本是1.6的,在單獨使用spark2.0的時候出現了hbase包找不到的問題,由於spark-submit –jars屬性引的包太多,就乾脆直接用sbt將相關的jar包打成fat-jar,期間遇到了一些問題,在此記錄一下。html 開發環境使用的是idea,裝了sbt插件後覺得就能夠直接在terminal命令窗口中直接運行sbt了,但
相關文章
相關標籤/搜索