MapReduce工作流程詳解

先從HDFS文件系統中讀取文件 進行合併 進行邏輯切分 Split 對一行數據進行切分RecordRead,以key爲行首字母的偏移量value爲對應的一行數據 傳給maptask MapTask對數據進行處理後 傳給shuffle的分區partition partition對數據進行分區處理 將數據傳給shuffle的sort排序 sort排序後的結果傳送給shuffle的combiner(局部

>>阅读原文<<