Spark中寬依賴和窄依賴的區別

Spark中寬依賴和窄依賴 窄依賴：RDD的每個分區僅依賴一個父RDD的分區； 寬依賴：RDD的每個分區依賴多個父RDD的分區； 那麼爲什麼要區分窄依賴和寬依賴呢？ 窄依賴在劃分Stage時，可以劃分在一起，而且可以並行計算，並且在數據恢復時只需要重新計算父RDD即可，恢復方便。而寬依賴則不然，因爲寬依賴的範圍較廣，必須重新計算所有的父RDD依賴，計算量大，不容易恢復。

>>阅读原文<<