spark之推測執行

一、什麼是推測執行？   在spark做業運行中，一個stage裏面的不一樣task的執行時間可能不同，有的task很快就執行完成了，而有的可能執行很長一段時間也沒有完成。形成這種狀況的緣由多是集羣內機器的配置性能不一樣、網絡波動、或者是因爲數據傾斜引發的。而推測執行就是當出現同一個stage裏面有task長時間完成不了任務，spark就會在不一樣的executor上再啓動一個task來跑這個任務

>>阅读原文<<