遇到問題---hadoop---reduce執行時又重新map

遇到的情況 我們在運行一個2T的hive數據進行動態分區，發現運行了很長時間的mapreduce在reduce運行過程中又重新啓動了一次map。 如圖 原因 分析到的原因可能有兩個 一是有異常報錯，reduce入庫時一直失敗，很多個fail或者kill，hadoop啓用推測執行機制。hadoop針對慢或者老是失敗的任務額外啓動一個備份任務，一起處理同一份數據，哪個先執行完，則採用哪個的處理結果，同

>>阅读原文<<