MapReduce 工作原理

MapReduce 工作原理如下圖：    說明： 1、split 爲邏輯分片、block 爲物理塊 2、每條數據寫入緩衝區時附帶分區屬性 3、reduce 端通過 partition 識別 copy map端對應的分區數據，一個partition 對應一個reduce  4、reduce 端 copy 線程 copy 數據到緩存，緩存存儲不了數據時寫到內存，內存到內存有merge，當內存存儲的m

>>阅读原文<<