spark學習-50-Spark的stage的劃分

1。stage的劃分主要依據窄依賴和寬依賴 窄依賴： 　　指父RDD的每一個分區最多被一個子RDD的分區所用，表現爲一個父RDD的分區對應於一個子RDD的分區，和兩個父RDD的分區對應於一個子RDD 的分區。圖中，map/filter和union屬於第一類，對輸入進行協同劃分（co-partitioned）的join屬於第二類。 寬依賴： 　　指子RDD的分區依賴於父RDD的所有分區，這是因爲sh

>>阅读原文<<