Spark中寬依賴和窄依賴的區別

一、什麼是寬依賴、窄依賴 Spark中RDD的高效與DAG（有向無環圖）有着莫大的關係，在DAG調度中我們需要對計算過程劃分stage，而劃分依據就是RDD之間的依賴關係。針對不同的轉換函數，RDD之間的依賴關係分爲寬依賴和窄依賴。那麼到底什麼是寬依賴和窄依賴的？ 1、寬依賴：是指1個父RDD分區對應多個子RDD的分區 2、窄依賴：是指一個或多個父RDD分區對應一個子RDD分區 簡單的說就是我們在

>>阅读原文<<