Spark RDD 寬窄依賴——頓悟篇

1.寬窄依賴 ●兩種依賴關係類型 RDD和它依賴的父RDD的關係有兩種不同的類型，即 ·寬依賴(wide dependency/shuffle dependency) ·窄依賴(narrow dependency) ●圖解 ●如何區分寬窄依賴 窄依賴:父RDD的一個分區只會被子RDD的一個分區依賴 寬依賴:父RDD的一個分區會被子RDD的多個分區依賴(涉及到shuffle) 2.爲什麼要設計寬窄依

>>阅读原文<<