MapReduce的執行流程

MapReduce的執行流程 文件讀取組件調用getRecordReader()方法,再調用LineRecordReader方法來讀取切片文件 讀取完之後到Mapper中進行處理 Mapper處理完之後,數據進入環形緩衝區 環形緩衝區數據超過80%時會溢出,每溢出一次數據,都會與上一次溢出的數據進行合併操作(歸併排序法) 數據合併完之後,reduce會主動拉取分區完的數據進入Reduce程序中執行

>>阅读原文<<