mapreduce shuffle

一、 Map端shuffle 輸入數據和執行Map任務 通過自定義Map，將輸入<key,value>轉換成新的<key,value>並輸出 寫入緩存 每個map任務都會分配一個緩存區（通過環形隊列實現），默認100M，首先將map的輸出寫入緩存，當達到一定數量是會一次性批量寫入磁盤，以減少磁盤IO操作 溢寫（分區，排序，和並） 因爲緩存區大小有限，爲不影Map結果的寫入操作，每當緩存區大小達到溢

>>阅读原文<<