MapReduce優化——配置調優

相關鏈接： MapReduce優化——Combiner與Partitioner 1、配置調優 調優總的原則給shuffle過程儘量多提供內存空間，在map端，可以通過避免多次溢出寫磁盤來獲得最佳性能(相關配置io.sort.*，io.sort.mb)，在reduce端，中間數據全部駐留在內存時，就能獲得最佳性能，但是默認情況下，這是不可能發生的，因爲一般情況所有內存都預留給reduce含函數(如需

>>阅读原文<<