HADOOP | MapReduce篇 (01) 基礎

Map 主要負責 「分」， 即把複雜的任務分解爲若干個「簡單的任務」執行 Reduce 對 map 階段的結果進行彙總 - Reduce 的數目由mapred-site.xml 配置文件裏的項目mapred.reduce.tasks決定。 - 缺省值爲 1 Shuffler 是在 mapper 和 reduce 中間的一個步驟 - 可以把 mapper 的輸出按照某種 key 值重新切分和組合成

>>阅读原文<<