MapReduce分佈式編程

Combiner函數 本地化的reducer Partitioner函數 決定着Map節點的輸出將被分區到哪個Reduce節點 什麼是shuffle 怎樣把map task的輸出結果有效地傳送到reduce端？ map輸出之前，在內存裏經過sort和combiner，再將所有的輸出集合到 partitioner進行劃分到不同的reducer，在每個分區（partition）中，再進行內存中排序，再

>>阅读原文<<