spark中寬依賴和窄依賴

寬依賴 父RDD的分區被子RDD的多個分區使用。例如 groupByKey、reduceByKey、sortByKey等操作會產生寬依賴，會產生shuffle 窄依賴 父RDD的分區都只被子RDD的一個分區使用。例如map，filter，union等操作就會產生窄依賴。 歡迎關注胖八毛微信技術公衆號

>>阅读原文<<