mapreduce的工作流程

MapReduce 就是將輸入進行分片，交給不同的 Map 任務進行處理，然後由 Reduce 任務合併成最終的解。 MapReduce 的實際處理過程可以分解爲 Input、Map、Sort、Combine、Partition、Reduce、Output 等階段，具體的工作流程如圖 1 所示。 在 Input 階段，框架根據數據的存儲位置，把數據分成多個分片（Splk），在多個結點上並行處理。

>>阅读原文<<