MapReduce shuffle性能調優

性能調優 如果能夠根據情況對shuffle過程進行調優，對於提供MapReduce性能很有幫助。相關的參數配置列在後面的表格中。 一個通用的原則是給shuffle過程分配儘可能大的內存，當然你需要確保map和reduce有足夠的內存來運行業務邏輯。因此在實現Mapper和Reducer時，應該儘量減少內存的使用，例如避免在Map中不斷地疊加。 運行map和reduce任務的JVM，內存通過mapr

>>阅读原文<<