MapReduce運行機制(三) shuffle和sort和shuffle調優

shuffle MR確保每個reducer的輸入都是按key排序的，系統執行排序，將map輸入傳給reduce的過程叫shuffle map端 1) map輸出：不是直接寫到磁盤，而是利用緩衝寫到內存並進行預排序 2) shuffle     > 每個map任務有環形內存緩衝區用於存儲任務輸出，到達80%時，後臺線程開始將緩衝區內容溢出到磁盤，邊溢出邊寫入，如果緩衝區寫滿，map會阻塞直到spil

>>阅读原文<<