spark rdd寬窄依賴及執行過程

術語解釋   窄依賴和寬依賴   RDD之間有一系列的依賴關係,依賴關係又分爲窄依賴和寬依賴。 窄依賴 父RDD和子RDD partition之間的數據關係是一對一的。 或者父RDD一個partition只對應一個子RDD的partition情況下的父RDD和子RDD partition關係是多對一的。不會有shuffle的產生。 寬依賴 父RDD與子RDD partition之間的數據關係是一對
相關文章
相關標籤/搜索