Spark 任務輸出目錄_temporary目錄未刪除問題排查

文章目錄 一、問題描述 二、問題定位 三、driver kill task的時間 四、解決方案 參考資料 一、問題描述 在hdfs上看到有個輸出目錄有_temporary目錄，但任務實際已經結束了。 有_SUCCESS文件表示這個任務已經結束了。 二、問題定位 Spark 輸出數據到 HDFS 時，需要解決如下問題： 由於多個 Task 同時寫數據到 HDFS，如何保證要麼所有 Task 寫的所有

>>阅读原文<<