一張圖看懂Mapreduce的shuffle過程

shuffle過程 從map()的輸出到reduce()的輸入，中間的過程被稱爲shuffle過程。 map side 1.在寫入磁盤之前，會先寫入環形緩衝區(circular memory buffer),默認100M(mapreduce.task.io.sort.mb可修改),當緩衝區內容達到80M(mapre duce.map.sort.spill.percent可修改),緩衝區內容會被溢寫

>>阅读原文<<