MapReduce運行機制

MapReduce 的運行流程 整個流程能夠分爲 split，map，shuffle，reduce，output 五個階段web 1 split 在 split 階段會把須要處理的數據劃分爲不一樣的切片；把個切片交給不一樣 map 程序進行處理；切片後數據會被解析爲 kv 對輸入到 map 進行處理。svg 2 map 在 map 階段能夠對輸入的 kv 對進行處理後再以 kv 對的形式輸出。設計

>>阅读原文<<