MapReduce運行機制-Reduce階段

ReduceTask 工作機制和 ReduceTask 並行度  Reduce 大致分爲 copy、sort、reduce 三個階段,重點在前兩個階段。copy 階段包含一個 eventFetcher 來獲取已完成的 map 列表,由 Fetcher 線程去 copy 數據,在此過程中會啓動兩個 merge 線程,分別爲 inMemoryMerger 和 onDiskMerger,分別將內存中的數
相關文章
相關標籤/搜索