Spark 源碼解析 : DAGScheduler中的DAG劃分與提交

1、Spark 運行架構 Spark 運行架構以下圖： 各個RDD之間存在着依賴關係，這些依賴關係造成有向無環圖DAG，DAGScheduler對這些依賴關係造成的DAG，進行Stage劃分，劃分的規則很簡單，從後往前回溯，遇到窄依賴加入本stage，碰見寬依賴進行Stage切分。完成了Stage的劃分,DAGScheduler基於每一個Stage生成TaskSet,並將TaskSet提交給Tas

>>阅读原文<<