7. RDD 窄依賴&寬依賴

窄依賴和寬依賴 RDD之間有一系列的依賴關係,依賴關係又分爲窄依賴和寬依賴。 窄依賴 ---- 減少或不變 父RDD和子RDD partition之間的關係是一對一的。或者父RDD和子RDD partition關係是多對一的。不會有shuffle的產生。 寬依賴 ---- 增多 父RDD與子RDD partition之間的關係是一對多。會有shuffle的產生。 寬窄依賴圖理解
相關文章
相關標籤/搜索