Apache Spark RDD依賴關係

RDD依賴關係 寬窄依賴 兩種依賴關係類型 RDD和它依賴的父RDD的關係有兩種不同的類型，即 寬依賴(wide dependency/shuffle dependency) 窄依賴(narrow dependency) 圖解 如何區分寬窄依賴 窄依賴:父RDD的一個分區只會被子RDD的一個分區依賴 寬依賴:父RDD的一個分區會被子RDD的多個分區依賴(涉及到shuffle) 面試題： 子RDD的

>>阅读原文<<