shuffle過程分析

shuffle階段其實就是之前《MapReduce的原理及執行過程》中的步驟2.1。多個map任務的輸出，按照不同的分區，通過網絡copy到不同的reduce節點上。   Map端： 　　1、在map端首先接觸的是InputSplit，在InputSplit中含有DataNode中的數據，每一個InputSplit都會分配一個Mapper任務，Mapper任務結束後產生<K2,V2>的輸出，這些輸

>>阅读原文<<