MapReduce框架原理

MapReduce流程詳解 一、MapReduce流程圖 如上圖所示，就是一個map，reduce的過程，其中包括了map過程，shuffle過程，reduce過程 二、關於shuffle過程詳解 1：mapTask收集我們map方法輸出的<k,v>，放入到內存緩衝區中。 2：從緩衝區中以【80% * 緩衝區大小】 的文件溢寫到磁盤，可能是多個文件。 3：多個溢寫出的文件會被合併成大的溢出文件。

>>阅读原文<<