RDD的依賴關係筆記

窄依賴和寬依賴： 窄依賴：每個父RDD的一個Partition最多被子RDD的一個Partition所使用。如map，filter，union操作都會產生窄依賴。 寬依賴：一個父RDD的Partition會被多個子RDD的Partition所使用。如groupByKey，reduceByKey，sortByKey等操作都會產生寬依賴。寬依賴會產生Shuffle操作。 也就是說，如果父RDD的一個P

>>阅读原文<<