Hadoop的shuffle和排序

目錄 map 端 reduce 端 配置調優 map 端調優屬性 reduce 端的調優屬性 系統進行排序、將 map 輸出作爲輸入傳給 reducer 的過程被稱爲 shuffle。 map 端 map 函數開始產生輸出時，會利用緩衝的方式寫到內存並出於效率的考慮進行預排序。 每個 map 任務都有一個環形內存緩衝區用於存儲任務輸出，默認緩衝區大小爲 100MB，可通過 mapreduce.ta

>>阅读原文<<