Spark RDD 依賴關係

Spark RDD的依賴關係 RDD之間的依賴關係分爲兩種，分別是NarrowDependency與ShuffleDependency，其中ShuffleDependency爲子RDD的每一個Partition都依賴於父RDD的全部Partition，而NarrowDependency則只依賴一個或部分的Partition。下圖的groupBy與join操做是ShuffleDependency，m

>>阅读原文<<