MapReduce之shuffle詳解

shuffle 是 Mapreduce 的核心，它分佈在 Mapreduce 的 map 階段和 reduce 階段。一般 把從 Map 產生輸出開始到 Reduce 取得數據作爲輸入之前的過程稱作 shuffle。 1. Collect階段 ：將 MapTask 的結果輸出到默認大小爲 100M 的環形緩衝區，保存的是 key/value，Partition 分區信息等。 2. Spill階段

>>阅读原文<<