Spark系列——RDD的寬依賴和窄依賴,以及Spark的運行架構,運行流程,框架的特點

一、窄依賴(narrow dependency) 窄依賴是指:每一個父RDD的一個partition最多被子RDD的一個partition所使用,例如:map,filter,union等操作會產生窄依賴,相當於父母和獨生子女的關係 二、寬依賴(shuffle denpendency) 寬依賴是指:每一個父RDD的一個partition多個子RDD的一個partition所使用,每一個父RDD的一個
相關文章
相關標籤/搜索