Spark 任務生成以及提交總結

對spark任務提交源碼進行初步閱讀梳理下流程 其中stage的劃分：    Spark調度階段的劃分是由DAGScheduler實現的，DAGScheduler會從最後一個Rdd出發，使用廣度優先遍歷整個依賴樹，從而劃分調度階段，依據是否爲寬依賴，當某些Rdd操作是Shuffle時，以該Shuffle操作爲界限劃分前後兩個調度階段。

>>阅读原文<<