MapReduce原理全剖析

MapReduce剖析圖 如上圖所示是MR的運行詳細過程 首先mapTask讀文件是通過InputFormat（內部是調RecordReader()–＞read()）來一次讀一行，返回K,V值。（默認是TextInputFormat，還可以輸入其他的類型如:音視頻，圖片等。）。 mapper(map(k,v))–＞context.write()即mapTask階段。 輸出數據到OutputColl

>>阅读原文<<