Spark計算模型RDD(5)——DAG的生成和Spark的任務調度

DAG DAG(Directed Acyclic Graph)叫作有向無環圖,原始的RDD經過一系列的轉換就造成了DAG,根據RDD之間依賴關係的不一樣將DAG劃分紅不一樣的Stage(調度階段)。 對於窄依賴,partition的轉換處理在一個Stage中完成計算。 對於寬依賴,因爲有Shuffle的存在,只能在parent RDD處理完成後,才能開始接下來的計算,所以寬依賴是劃分Stage的依
相關文章
相關標籤/搜索