Shuffle機制

一個map task處理一個切片Split，切片是一個範圍的數據，和blocksize大小沒有必然關係。 1.每個map有一個環形內存緩衝區，用於存儲任務的輸出。默認大小100MB（io.sort.mb屬性），一旦達到閥值0.8（io.sort.spill.percent）,一個後臺線程把內容寫到(spill)磁盤的指定目錄（mapred.local.dir）下的新建的一個溢出寫文件。 2.寫磁盤

>>阅读原文<<