spark shuffle原理

1.spark中窄依賴的時候不需要shuffle，只有寬依賴的時候需要shuffle，mapreduce中map到reduce必須經過shuffle 2.spark中的shuffle fetch的時候進行merge操作利用aggregator來進行，實際上是個hashmap，放在內存中 1 // Map: "cat" -> c, cat 2 val rdd1 = rdd.Map(x => (x.c

>>阅读原文<<