Hadoop 優化

一、MapReduce 跑得慢的原因 1、計算機性能 CPU、內存、磁盤健康、網絡 2、I/O 操作優化 (1) 數據傾斜 (2) Map 和 Reduce 數設置不合理 (3) Map 運行時間太長，導致 Reduce 等待過久 (4) 小文件過多 (5) 大量的不可分塊的超大文件 (6) spill 次數過多 (8) Merge 次數過多等 二、MapReduce 優化方法 MapReduce

>>阅读原文<<