Hadoop之企業優化

MapReduce跑的慢的原因 MapReduce程序效率的瓶頸在於兩點： 1、計算機性能 cpu、內存、網絡、磁盤健康 2、I/O操作優化 （1）、數據傾斜 （2）、Map和Reduce數設置不合理 （3）、Map運行時間太長，導致Reduce等待時間太久 （4）、小文件過多 （5）、大量的不可切分的超大文件 （6）、溢寫次數過多 （7）、Mager次數過多等 MapRedeuce的優化方法 M

>>阅读原文<<