MapReduce編程模型「WordCount」實例分析

1、MapReduce理論簡介 1.1 MapReduce編程模型   MapReduce採用"分而治之"的思想,把對大規模數據集的操作,分發給一個主節點管理下的各個分節點共同完成,然後通過整合各個節點的中間結果,得到最終結果。簡單地說,MapReduce就是"任務的分解與結果的彙總"。 在Hadoop中,用於執行MapReduce任務的機器角色有兩個:一個是JobTracker;另一個是Task
相關文章
相關標籤/搜索