spark學習系列——10 spark寬依賴和窄依賴

如何表現RDD之間的依賴。在RDD中將依賴劃分成了兩種類型：窄依賴(narrow dependencies)和寬依賴(wide dependencies)。窄依賴是指父RDD的每個分區都只被子RDD的一個分區所使用。相應的，那麼寬依賴就是指父RDD的分區被多個子RDD的分區所依賴。例如，map就是一種窄依賴，而join則會導致寬依賴(除非父RDD是hash-partitioned，見下圖)。 具體

>>阅读原文<<