ReduceTask 工作機制以及reduceTask的並行度

ReduceTask 工作機制以及reduceTask的並行度 Reduce大致分爲copy、sort、reduce三個階段,重點在前兩個階段。 copy階段包含一個eventFetcher來獲取已完成的map列表,由Fetcher線程去copy數據 在此過程中會啓動兩個merge線程,分別爲inMemoryMerger和onDiskMerger 分別將內存中的數據merge到磁盤和將磁盤中的數據
相關文章
相關標籤/搜索