MapReduce優化_1

**java 一、配置調優 ** 調優總的原則給shuffle過程儘可能多提供內存空間，在map端，能夠經過避免屢次溢出寫磁盤來得到最佳性能(相關配置io.sort.*，io.sort.mb)，在reduce端，中間數據所有駐留在內存時，就能得到最佳性能，可是默認狀況下，這是不可能發生的，由於通常狀況全部內存都預留給reduce含函數(如需修改 須要配置mapred.inmem.merge.thr

>>阅读原文<<