hadoop-----06

shuffle過程 Shuffle過程是MapReduce奇蹟發生的地方   Map階段： 1.如果map任務量小，緩衝區裏的數據沒有達到溢寫閾值，就不會發生spill過程，就不會發生merge過程。針對這種情況，reduce會只從緩衝區裏拽數據。 2.如果發生了spill溢寫，但是最後一次可能存在數據殘留情況，此時，會進行flush操作，flush到文件裏。確保數據都在文件中，從而在merger

>>阅读原文<<