MapReduce的核心--Shuffle

這篇來講說shuffle的流程.java map端 首先存在一個環形緩衝區,全部map處理完畢的KV對就輸出到這裏.體如今源碼中就是:算法 public class MapTask.MapOutputBuffer byte[] kvbuffer;  一會再說說這個kvbuffer,先來講說流程.數組 首先map端的輸出依次存儲至kvbuffer,kvbuffer分爲兩部分,一部分存儲kv相

>>阅读原文<<