部分其它知識

1、combiner 一、是在每個map task的本地運行，能收到map輸出的每個key的valuelist，因此能夠作局部彙總處理 二、由於在map task的本地進行了局部彙總，就會讓map端的輸出數據量大幅精簡，減少shuffle過程的網絡IO 三、combiner其實就是一個reducer組件，跟真實的reducer的區別就在於，combiner運行maptask的本地 四、combin

>>阅读原文<<