Spark中的寬依賴和窄依賴

Spark中RDD的高效與DAG圖有着莫大的關係， 在DAG調度中需要對計算過程劃分Stage， 而劃分的依據就是就是RDD之間的依賴關係。 針對不同的轉換函數，RDD之間的依賴關係分爲窄依賴（narrow dependency） 和寬依賴（Wide Depencency，也稱爲Shuffle Depencency）。 窄依賴： 指父RDD的每個分區只被子RDD的一個分區所使用，子RDD分區通常對

>>阅读原文<<