MapReduce Shuffle性能調優

Map端優化 選項 類型 默認值 描述 io.sort.mb int 100 緩存map中間結果的buffer大小(MB) io.sort.record.percent float 0.05 io.sort.mb中用來保存map output記錄邊界的百分比，其餘緩存用來保存數據 io.sort.spill.percent float 0.80 map開始作spill操做的閾值 io.sort.f

>>阅读原文<<