Mapreduce計算過程

Mapreduce計算過程 分爲三個部分，map、shuffle和reduce，map負責對文件切片後的原始數據轉化爲key-value鍵值對，shuffle負責將map的結果進行整體分發給reduce作爲輸入，reduce對不同map任務得到的數據進行合併處理，得到最終的數據文件。 shuffle過程 shuffle在map端和reduce都參與操作，所以可以分爲map shuffle和redu

>>阅读原文<<