RDD的寬窄依賴

在設計RDD的接口時，一個有意思的問題是如何表現RDD之間的依賴。在RDD中將依賴劃分紅了兩種類型：窄依賴(narrow dependencies)和寬依賴(wide dependencies)。窄依賴是指父RDD的每一個分區都只被子RDD的一個分區所使用。相應的，那麼寬依賴就是指父RDD的分區被多個子RDD的分區所依賴。例如，map就是一種窄依賴，而join則會致使寬依賴(除非父RDD是hash

>>阅读原文<<