Mapreduce學習筆記(二)

Mapreduce的Shuffle過程 今天來談一談, shuffle過程, shuffle中文翻譯是洗牌, 是在map 和reduce之間的一套可編寫程序,就像可插拔的組件一樣,我們可以編寫一些程序來替換它們,以達到我們的需求目的。以下是詳細的shuffle過程。 一般需要我們編程的過程有 Combiner, Partition, sort 以及 group。 Combiner: 這個過程實際上
相關文章
相關標籤/搜索