史上最完整的Hadoop企業級優化

MapReduce 跑的慢的原因 首先說MapReduce 跑的慢的原因： MapReduce優化方法 MapReduce優化方法主要從六個方面考慮：數據輸入、Map階段、Reduce階段、IO傳輸、數據傾斜問題和常用的調優參數。 數據輸入端： Map階段 Reduce階段 IO 數據傾斜問題處理 常用的調優參數 HDFS小文件優化方法 HDFS小文件弊端 HDFS上每個文件都要在NameNode

>>阅读原文<<