spark筆記之DAG的生成

8.1什麼是DAG DAG(Directed Acyclic Graph)叫作有向無環圖，原始的RDD經過一系列的轉換就造成了DAG，根據RDD之間依賴關係的不一樣將DAG劃分紅不一樣的Stage(調度階段)。對於窄依賴，partition的轉換處理在一個Stage中完成計算。對於寬依賴，因爲有Shuffle的存在，只能在parent RDD處理完成後，才能開始接下來的計算，所以寬依賴是劃分Sta

>>阅读原文<<