spark shuffle 過程分析

spark shuffle 過程分析: 一普通機制: 1,首先 reduceBykey 是會將每一個 key 對應的所有value聚合成一個value,然後生成一個rdd,元素類型是<k,v>形式，然後每一個k對應一個聚合起來的v 2,每一個k對應的v 不一定在一個節點之上，也不可能是在一個 partition中 3,聚合過程: 1),Shuffle Wri

>>阅读原文<<