MapReduce的核心--Shuffle

這篇來說說shuffle的流程. map端 首先存在一個環形緩衝區,所有map處理完畢的KV對就輸出到這裏.體現在源碼中就是: public class MapTask.MapOutputBuffer byte[] kvbuffer;  一會再說說這個kvbuffer,先來說說流程. 首先map端的輸出依次存儲至kvbuffer,kvbuffer分爲兩部分,一部分存儲kv相關的元數據(大小

>>阅读原文<<