［大數據］由點入面瞭解MapReduce

一：MR的工作原理是什麼？ 1.從HDFS讀取的文件進行split分片，split與block的對應關係可能是多對一，默認是一對一，每一片對應一個map。 2.在經過mapper的運行後，我們得知mapper的輸出是這樣一個key/value對；同時執行partitioner，每一個map對數據通過hash生成不同的key進行partition，決定數據對應的reduce，默認對key hash後

>>阅读原文<<