大數據——hadoop - MapReduce - Shuffle

MapReduce - Shuffle 對Map的結果進行排序並傳輸到Reduce進行處理 Map的結果並不#x662F;直接存放到硬盤,而是利用緩存做一些預排序處理 Map會調用Combiner，壓縮，按key進行分區、排序等，儘量減少結果的大小 每個Map完成後都會通知Task，然後Reduce就可以進行處理 Map端 當Map程序開始產生結果的時候，並不是直接寫到文件的，而是利用緩存做一些排

>>阅读原文<<