Hadoop生態圈之MapReduce

什麼是MapReduce？ MapReduce是一個分佈式計算框架，以可靠，容錯的方式在大型集羣（數千個節點）上並行處理大量數據(多爲TB級數據)。 MapReduce的主要思想是：分久必合 MapReduce的核心思想是：把相同的key分成一組，調用一次Reduce方法。 一、MapReduce分佈式計算原理 理論上block大小=split切片大小=map task 實際上split的大小比b

>>阅读原文<<