12、MapReduce框架原理(上)

MapReduce工作流程 流程圖如下 mapreduce工作流程.png 解釋 上面的流程是整個mapreduce最全工作流程,但是shuffle過程只是從第7步開始到第16步結束,具體shuffle過程詳解,如下: maptask收集我們的map()方法輸出的kv對,放到內存緩衝區中 從內存緩衝區不斷溢出本地磁盤文件,可能會溢出多個文件 多個溢出文件會被合併成大的溢出文件 在溢出過程中,及合併
相關文章
相關標籤/搜索