黑猴子的家:Shuffle機制

Mapreduce確保每個reducer的輸入都是按鍵排序的。系統執行排序的過程(即將map輸出作爲輸入傳給reducer)稱爲shuffle。 Shuffle的正常意思是洗牌或弄亂,可能大家更熟悉的是Java API裏的Collections.shuffle(List)方法,它會隨機地打亂參數list裏的元素順序。
相關文章
相關標籤/搜索