簡單搞定spark的shuffle流程

Shuffle原理剖析與源碼分析 一、在Spark中，什麼狀況下，會發生shuffle？reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操做。 二、默認的Shuffle操做的原理剖析 三、優化後的Shuffle操做的原理剖析 四、Shuffle相關源碼分析 普通的shuffle： 優化後的shuffle： spark shuffle

>>阅读原文<<