Spark(13) -- DAG的生成以及Shuffle的過程

1. 什麼是DAG  DAG(Directed Acyclic Graph)叫做有向無環圖，原始的RDD通過一系列的轉換就形成了 DAG，根據RDD之間依賴關係的不同將DAG劃分成不同的Stage(調度階段)。對於窄依賴， partition的轉換處理在一個Stage中完成計算。對於寬依賴，由於有Shuffle的存在，只能在 parent RDD處理完成後，才能開始接下來的計算，因此寬依賴是劃分S

>>阅读原文<<