Spark：shuffle原理

shuffle 和 stage shuffle 是劃分 DAG 中 stage 的標識,同時影響 Spark 執行速度的關鍵步驟. 　　RDD 的 Transformation 函數中,又分爲窄依賴(narrow dependency)和寬依賴(wide dependency)的操作.窄依賴跟寬依賴的區別是是否發生 shuffle(洗牌) 操作.寬依賴會發生 shuffle 操作. 窄依賴是子 R

>>阅读原文<<