Spark底層原理---Spark寬依賴和窄依賴深度剖析

RDD依賴關係與stage劃分 Spark中RDD的高效與DAG圖有着莫大的關係，在DAG調度中需要對計算過程劃分stage，而劃分依據就是RDD之間的依賴關係。 1. 窄依賴與寬依賴 針對不同的轉換函數，RDD之間的依賴關係分爲窄依賴（narrow dependency）和寬依賴（wide dependency，也成shuffle dependency）。 1.1 窄依賴 窄依賴是指1個父RDD

>>阅读原文<<