hadoop Shuffle

對Map的結果進行排序並傳輸到Reduce 進行處理，Map的結果並不是直接存放到硬盤，而是利用緩存做一些預排序處理Map 會調用Combiner ，壓縮，按key 進行分區，排序等，儘量減少結果的大小，每個Map 完成後都會通知Task，然後Reduce 就可以進行排序。 Map 端 當Map 程序開始產生結果的時候，並不是直接寫到文件的，而是·利用緩存做一些排序方面的預處理 每個Map 任務都

>>阅读原文<<