簡單搞定Shuffle機制運行原理

2.4.1 概述 1）mapreduce中，map階段處理的數據如何傳遞給reduce階段，是mapreduce框架中最關鍵的一個流程，這個流程就叫shuffle；緩存 2）shuffle: 洗牌、發牌（核心機制：數據分區、排序、緩存）；網絡 3 ）具體來講：就是將 maptask 輸出的處理結果數據，分發給 reducetask ，並在分發的過程當中，對數據按 key 進行了分區和排序。 2.4

>>阅读原文<<