MapReduce工作原理圖詳解

MapReducer工作原理圖詳解 一個剛開始學習大數據的小白，願意和大家分享所學所得。 下面這幅圖是我一筆一畫製作的，每一步都有標記，詳細介紹了MapReducer工作原理。 具體的Shuffle流程如下： 1）MapTask收集我們的map()方法輸出的kv對，放到內存緩衝區中 2）從內存緩衝區不斷溢出本地磁盤文件，可能會溢出多個文件 3）多個溢出文件會被合併成大的溢出文件 4）在溢出過程及合

>>阅读原文<<