Shuffle詳解

Shuffle過程是MapReduce的核心。Shuffle的意思是洗牌或者打亂,會使用Java的同窗應該見過Java API裏面的Collections.shuffle(list)方法,它會隨機地打亂參數list裏面的元素順序。 若是讀者不知道MapReduce裏面的Shuffle是什麼,請看下圖 Shuffle差很少就是從MapTask輸出到ReduceTask輸入的這一過程。 在真實的Had
相關文章
相關標籤/搜索