Spark計算模型RDD（5）——DAG的生成和Spark的任務調度

DAG DAG(Directed Acyclic Graph)叫做有向無環圖，原始的RDD通過一系列的轉換就形成了DAG，根據RDD之間依賴關係的不同將DAG劃分成不同的Stage(調度階段)。 對於窄依賴，partition的轉換處理在一個Stage中完成計算。 對於寬依賴，由於有Shuffle的存在，只能在parent RDD處理完成後，才能開始接下來的計算，因此寬依賴是劃分Stage的依據。

>>阅读原文<<