Hadoop學習(1)——MapReduce的原理和操作

MapReduce的流程圖 名詞解釋： Map的過程 ： 每個輸入分片會讓一個map任務來處理，默認情況下，以HDFS的一個塊的大小（默認爲64M）爲一個分片，當然我們也可以設置塊的大小。map輸出的結果會暫且放在一個環形內存緩衝區中（該緩衝區的大小默認爲100M，由io.sort.mb屬性控制），當該緩衝區快要溢出時（默認爲緩衝區大小的80%，由io.sort.spill.percent屬性控制

>>阅读原文<<