MapReduce工作原理

MapReduce2.0運行流程 MapReduce2.0比之前最大的改動就是加入了yarn,具體的yarn工作機制請參考 yarn的工作機制  MapReduce工作原理  首先程序根據InputFormat將輸入文件分成多個spilts,每個spilt對應一個map task的輸入 接下來就是MapReduce的shuffle過程,具體來說shuffle過程就是從map產生輸出到reduce消
相關文章
相關標籤/搜索