大數據技術之Hadoop（MapReduce）第3章 MapReduce框架原理

3.1 MapReduce工作流程 1）流程示意圖 2）流程詳解 上面的流程是整個mapreduce最全工作流程，但是shuffle過程只是從第7步開始到第16步結束，具體shuffle過程詳解，如下： 1）maptask收集我們的map()方法輸出的kv對，放到內存緩衝區中 2）從內存緩衝區不斷溢出本地磁盤文件，可能會溢出多個文件 3）多個溢出文件會被合併成大的溢出文件 4）在溢出過程中，及合併

>>阅读原文<<