Spark內核深度剖析之寬依賴和窄依賴

在之前提到了DAGScheduler會將job劃分爲多個stage，而劃分依據就是RDD之間的依賴關係。RDD之間的依賴關係分類窄依賴（narrow dependency）和寬依賴（wide dependency, 也稱 shuffle dependency）. 窄依賴：窄依賴是指一個RDD對它的父RDD只有簡單的一對一的依賴關係，即RDD的每個partition只依賴於父RDD中的一個parti

>>阅读原文<<