MapReduce:Mapper階段的輸出之MapOutputBuffer、環形緩衝區工作原理

MapOutputBuffer 在上一篇博客中說過,Mapper的輸出中有兩個重要部分:一是collector,負責收集Mapper輸出並將其交付給Reducer;二是partitioner,決定了應該將具體的輸出交付給哪一個Reducer。 Mapper的輸出是通過其RecordWriter寫出去的,此RecordWriter就是一個負責收集Mapper輸出的Collector,而MapOutp
相關文章
相關標籤/搜索