MapReduce_原理( 二 結合Yarn相關 ）

MAPREDUCE實踐篇（2） mapreduce的shuffle機制 mapreduce中，map階段處理的數據如何傳遞給reduce階段，是mapreduce框架中最關鍵的一個流程，叫 shuffle ; shuffle:洗牌，發牌----（核心機制：數據分區，排序，緩存） 具體來說：是將maptask輸出結果數據，反發給reducetask，並在分發的過程中，對數據key進行分區和排序 主要

>>阅读原文<<