spark 機制原理自問自答

本文主要收錄spark學習和工做中思考的問題。web 一、當Spark task failed，什麼狀況下task重計算，什麼狀況下stage重計算？ 答：若是task失敗是由於shuffle output files lost，則DAGScheduler會對stage重提交計算；若是不是由於shuffle file lost，則選擇resubmit task。這是由於shuffle output

>>阅读原文<<