MapReduce優化（總（總體怎麼調優），分（map怎麼調優，ruduce怎麼調優））

1、配置調優 調優總的原則給shuffle過程儘量多提供內存空間，在map端，可以通過避免多次溢出寫磁盤來獲得最佳性能(相關配置io.sort.*，io.sort.mb)，在reduce端，中間數據全部駐留在內存時，就能獲得最佳性能，但是默認情況下，這是不可能發生的，因爲一般情況所有內存都預留給reduce含函數(如需修改 需要配置mapred.inmem.merge.threshold，mapr

>>阅读原文<<