RDD依賴關係與DAG

一、寬窄依賴 兩種依賴關係類型 RDD和它依賴的父RDD的關係有兩種不同的類型，即 寬依賴(wide dependency/shuffle dependency) 窄依賴(narrow dependency) 圖解   如何區分寬窄依賴 窄依賴:父RDD的一個分區只會被子RDD的一個分區依賴 寬依賴:父RDD的一個分區會被子RDD的多個分區依賴(涉及到shuffle) 子RDD的一個分區依賴多個父

>>阅读原文<<