mapreduce的shuffle過程

shuffle: 分區，排序，分組，Combiner map端shuffle reduce端shuffle 文件分成幾個塊，就有幾個切片，就啓動幾個maptask 例子一個300m的文件，被分成3個塊 bk1：0-127m bk2:128-255m bk3:256-300m 存2個副本，有三個datanode節點，一個塊對應一個切片啓動一個maptask maptask的輸出結果進入到環形緩衝區

>>阅读原文<<