Spark Shuffle之SortShuffleManager機制原理

1. SparkShuffle 概念 reduceByKey 會將上一個 RDD 中的每一個 key 對應的所有 value 聚合 成一個 value，然後生成一個新的 RDD，元素類型是<key,value>對的 形式，這樣每一個 key 對應一個聚合起來的 value。 問題：聚合之前，每一個 key 對應的 value 不一定都是在一個 partition 中，也不太可能在同一個節點上，因爲

>>阅读原文<<