Mapreduce Shuffle運行機制

概念: mapreduce中 map階段處理的數據傳遞給reduce階段是mp框架中最關鍵的一個流程 叫做shuffle shuffle :洗牌  核心機制 :數據分區 排序 緩存 其實就是將maptask 輸出的處理的結果數據分發給reducetask 分發的過程中進行了分區排序 shuffle 是MR處理中額一個流程  每一個處理步驟是分散在各個maptask 和reducetask上完成的

>>阅读原文<<