Spark兩種核心Shuffle(HashShuffle與sortShuffle)

SparkShuffle： SparkShuffle概念 reduceByKey會將上一個RDD中的每一個key對應的所有value聚合成一個value，然後生成一個新的RDD，元素類型是<key,value>對的形式，這樣每一個key對應一個聚合起來的value。 問題：聚合之前，每一個key對應的value不一定都是在一個partition中，也不太可能在同一個節點上，因爲RDD是分佈式的彈性

>>阅读原文<<