窄依賴和寬依賴

RDD之間有一系列的依賴關係，依賴關係又分爲窄依賴和寬依賴。 窄依賴 父RDD和子RDD partition之間的關係是一對一的。或者父RDD一個partition只對應一個子RDD的partition情況下的父RDD和子RDD partition關係是多對一的。不會有shuffle的產生。 寬依賴 父RDD與子RDD partition之間的關係是一對多。會有shuffle的產生。 寬窄依賴圖理

>>阅读原文<<