Spark 推測執行(speculative)

一  speculative簡介 在spark作業運行中,一個spark作業會構成一個DAG調度圖,一個DAG又切分成多個stage,一個stage由多個Task組成,一個stage裏面的不同task的執行時間可能不一樣,有的task很快就執行完成了,而有的可能執行很長一段時間也沒有完成。造成這種情況的原因可能是集羣內機器的配置性能不同、網絡波動、或者是由於數據傾斜引起的。而推測執行(specul
相關文章
相關標籤/搜索