ReduceTask 工作機制

ReduceTask 工作機制 概述: ReduceTask 分了四個階段,第一階段是copy階段,每一個ReduceTask會從所有的MapTask中拷貝同一個分區的數據,就是說每一個ReduceTask單獨負責處理一個分區,互不影響。第二階段是Merge階段,首先我們假如有多個MapTask,每個MapTask都有相同的分區,ReduceTask要將所有相同分區的資料合併成一個大文件。這就是M
相關文章
相關標籤/搜索