MapReduce 之shuffle過程

我們知道在MapReduce程序在map階段和reduce階段之間，會進行shuffle操作。那麼我們來詳細分析一下shuffle的過程或者原理 在MapTask調用Mapper#map方法之前，會構造一個RecordWriter對象，如果Job沒有reduce操作，那麼new一個NewDirectOutputCollector 如果包含Reduce操作，就new一個NewOutputCollec

>>阅读原文<<