MapReduce運行機制詳解 09

1. Map的運行機制以及map任務的並行度 1.1 圖解 1.2 詳解 整個Map階段流程大體如上圖所示。簡單概述:inputFile通過split被邏輯切分爲多個split文件,通過Record按行讀取內容給map(用戶自己實現的)進行處理,數據被map處理結束之後交給OutputCollector收集器,對其結果key進行分區(默認使用hash分區),然後寫入buffer,每個map tas
相關文章
相關標籤/搜索