spark 寬窄依賴

寬依賴與窄依賴 窄依賴是指父RDD的每個分區只被子RDD的一個分區所使用，子RDD分區通常對應常數個父RDD分區(O(1)，與數據規模無關) ShuffleDependency和Hadoop MapReduce中Shuffle的數據依賴相同 相應的，寬依賴是指父RDD的每個分區都可能被多個子RDD分區所使用，子RDD分區通常對應所有的父RDD分區(O(n)，與數據規模有關) NarrowDepen

>>阅读原文<<