hadoop作業調優參數整理及原理

1 Map side tuning 參數 1.1 MapTask 運行內部原理 當map task 開始運算，併產生中間數據時，其產生的中間結果並非直接就簡單的寫入磁盤。這中間的過程比較複雜，並且利用到了內存buffer 來進行已經產生的部分結果的緩存，並在內存buffer 中進行一些預排序來優化整個map 的性能。如上圖所示，每一個map 都會對應存在一個內存buffer （MapOutputB

>>阅读原文<<