Spark Stage和寬窄依賴

窄依賴和寬依賴 窄依賴： 指父RDD的每一個分區最多被一個子RDD的分區所用，表現爲一個父RDD的分區對應於一個子RDD的分區，和兩個父RDD的分區對應於一個子RDD 的分區。圖中，map/filter和union屬於第一類，對輸入進行協同劃分（co-partitioned）的join屬於第二類。 寬依賴： 指子RDD的分區依賴於父RDD的所有分區，這是因爲shuffle類操作，如圖中的group

>>阅读原文<<