Spark 推測執行(speculative)

一  speculative簡介 在spark作業運行中，一個spark作業會構成一個DAG調度圖，一個DAG又切分成多個stage，一個stage由多個Task組成，一個stage裏面的不同task的執行時間可能不一樣，有的task很快就執行完成了，而有的可能執行很長一段時間也沒有完成。造成這種情況的原因可能是集羣內機器的配置性能不同、網絡波動、或者是由於數據傾斜引起的。而推測執行(specul

>>阅读原文<<