【Spark篇】---Spark中Shuffle機制，SparkShuffle和SortShuffle

一、前述 Spark中Shuffle的機制可以分爲HashShuffle,SortShuffle。 SparkShuffle概念 reduceByKey會將上一個RDD中的每一個key對應的所有value聚合成一個value，然後生成一個新的RDD，元素類型是<key,value>對的形式，這樣每一個key對應一個聚合起來的value。 問題：聚合之前，每一個key對應的value不一定都是在一個

>>阅读原文<<