hadoop作業調優參數整理及原理

 1 Map side tuning參數1.1 MapTask運行內部原理 1.當map task開始運算，併產生中間數據時，其產生的中間結果並非直接就簡單的寫入磁盤。這中間的過程比較複雜，並且利用到了內存buffer來進行已經產生的部分結果的緩存，並在內存buffer中進行一些預排序來優化整個map的性能。如上圖所示，每一個map都會對應存在一個內存buffer（MapOutputBuffe

>>阅读原文<<