Hadoop調優策略

Hadoop調優策略 一、調優策略 　　1.調節溢寫緩衝區大小，減少Spill溢寫次數，減少磁盤I/O次數 　　2.加入Combiner中間過程，在溢寫緩衝區就會發生Combiner，好處是：比如——hello 1 hello 1一共佔14個字節，Combiner 後，變爲hello 2 。所以也能夠間接減少Spill溢寫次數，從而提高性能。 　　3.加入Combiner中間過程，在Merger過

>>阅读原文<<