10. SparkShuffle & 文件尋址

1. SparkShuffle概念 Shuffle描述着數據從map task輸出到reduce task輸入的這段過程。 一般將在map端的Shuffle稱之爲Shuffle Write，在Reduce端的Shuffle稱之爲Shuffle Read. shuffle的性能高低直接影響了整個程序的性能和吞吐量。 問題：聚合之前，每一個key對應的value不一定都是在一個partition中，也

>>阅读原文<<