MapReduce之collect過程分析

我們知道map任務在處理完一個key/value之後,就會進行collect操作:分區,排序,溢寫等操作,這些操作都屬於collect操作。   我們在map方法中,處理完一對key:value,就會調用write方法,本質上就是調用MapTask初始化的NewOutputCollector的write方法, 進而調用collect方法,開始collect流程   一 計算key落在哪一個分區  
相關文章
相關標籤/搜索