Spark 2.0 在作業（job）完成後花費很長時間結束

1.現象 在監控頁面job運行完成了，但是程序還在運行，要等好久才能結束 2.原因： spark 2.0 在保存數據的時候  會用 FileOutputCommitter ， 問題就出在了 Hadoop 2.0 FileOutputCommitter 實現FileOutputCommitter 裏面有兩個值得注意的方法：commitTask 和 commitJob。在 Hadoop 2.x 的Fi

>>阅读原文<<