Hadoop企業優化

 MapReduce優化方法 MapReduce優化方法主要從六個方面考慮:數據輸入、Map階段、Reduce階段、IO傳輸、數據傾斜問題和常用的調優參數。  數據輸入   Map階段    Reduce階段      I/O傳輸   數據傾斜問題      常用的調優參數 1.資源相關參數 (1)以下參數是在用戶自己的MR應用程序中配置就可以生效(mapred-default.xml) 表4-1
相關文章
相關標籤/搜索