Hadoop優化(高頻面試題)

Hadoop優化(高頻面試題) MapReduce 跑的慢的原因 MapReduce優化方法 MapReduce優化方法主要從六個方面考慮: 數據輸入、Map階段、Reduce階段、IO傳輸、數據傾斜問題和常用的調優參數。 2.1 數據輸入 2.2 map階段 mapreduce.task.io.sort.mb —> Shuffle的環形緩衝區大小,默認100m mapreduce.map.sor
相關文章
相關標籤/搜索