spark應用調試(idea 環境)

spark應用調試(idea 環境) spark shell可以比較方便的分步執行調試spark應用程序，但有時候不是很方便。下面介紹一種直接在idea中調試spark程序的方法。 maven 新建工程 ​ 這個不多贅述，注意一點是pom文件中把依賴的spark的scope的provided去掉，因爲我們要在idea中直接運行，不會用spark-submit。 <dependencies>

>>阅读原文<<