MapReduce運行機制

MapReduce 的運行流程 整個流程可以分爲 split，map，shuffle，reduce，output 五個階段 1 split 在 split 階段會把需要處理的數據劃分爲不同的切片；把個切片交給不同 map 程序進行處理；切片後數據會被解析爲 kv 對輸入到 map 進行處理。 2 map 在 map 階段可以對輸入的 kv 對進行處理後再以 kv 對的形式輸出。 3 Shuffle

>>阅读原文<<