Spark兩種核心Shuffle(HashShuffle與sortShuffle)

SparkShuffle： SparkShuffle概念緩存 reduceByKey會將上一個RDD中的每個key對應的全部value聚合成一個value，而後生成一個新的RDD，元素類型是<key,value>對的形式，這樣每個key對應一個聚合起來的value。數據結構 問題：聚合以前，每個key對應的value不必定都是在一個partition中，也不太可能在同一個節點上，由於RDD是分佈式

>>阅读原文<<