MapReduce優化——配置調優

相關連接： MapReduce優化——Combiner與Partitionerjava 一、配置調優 調優總的原則給shuffle過程儘可能多提供內存空間，在map端，能夠經過避免屢次溢出寫磁盤來得到最佳性能(相關配置io.sort.*，io.sort.mb)，在reduce端，中間數據所有駐留在內存時，就能得到最佳性能，可是默認狀況下，這是不可能發生的，由於通常狀況全部內存都預留給reduce含

>>阅读原文<<