MapReduce工作機制詳解

1.MapTask工作機制 整個Map階段流程大體如上圖所示。簡單概述：input File通過split被邏輯切分爲多個split文件，通過Record按行讀取內容給map（用戶自己實現的）進行處理，數據被map處理結束之後交給OutputCollector收集器，對其結果key進行分區（默認使用hash分區），然後寫入buffer，每個map task都有一個內存緩衝區，存儲着map的輸出結果

>>阅读原文<<