窄依賴和寬依賴

個人GitHub地址 :https://github.com/LinMingQiang 窄依賴和寬依賴 窄依賴: 指父RDD的每一個分區最多被一個子RDD的分區所用,表現爲一個父RDD的分區對應於一個子RDD的分區,和兩個父RDD的分區對應於一個子RDD 的分區。圖中,map/filter和union屬於第一類,對輸入進行協同劃分(co-partitioned)的join屬於第二類。 寬依賴: 指
相關文章
相關標籤/搜索