【MapReduce】六、Hadoop企業優化

文章目錄 一、MapReduce 跑的慢的原因 二、MapReduce優化方法 三、HDFS小文件優化方法 一、MapReduce 跑的慢的原因 MapReduce程序效率的瓶頸在於兩點: 1.1 計算機性能 CPU、內存、磁盤健康、網絡 1.2 I/O 操作優化 (1）數據傾斜 (2)Map和Reduce數設置不合理 (3)Map運行時間太長，導致Reduce等待過久(4)小文件過多 (5）大量

>>阅读原文<<