shuffle和排序

shuffle概述： MapReduce的Map階段已經按照key來排好序。系統執行排序的過程---Map作爲Reduce的輸入，這個過程稱爲shuffle（洗牌）。  瞭解shuffle的過程有利於我們更好的掌握MapReduce的過程從而能夠進行調優。從許多方面來看shuffle 是Map-Reduce的心臟，是奇蹟發生的地方。  MapReduce的shuffle過程如下圖： Map首先ma

>>阅读原文<<