Spark --【寬依賴和窄依賴】

前言 Spark中RDD的高效與DAG圖有着莫大的關係，在DAG調度中需要對計算過程劃分stage，暴力的理解就是stage的劃分是按照有沒有涉及到shuffle來劃分的，沒涉及的shuffle的都劃分在一個stage裏面，這種劃分依據就是RDD之間的依賴關係。針對不同的轉換函數，RDD之間的依賴關係分類窄依賴（narrow dependency）和寬依賴（wide dependency, 也稱

>>阅读原文<<