Shuffle階段的自我理解

Shuffle階段的概述 Shuffle是鏈接map，reduce兩個管道的銜接套。Map的輸出通過partition寫到內存的buffer裏面，當內存滿了的時候，會排序寫到零時文件，這樣當mapTask整個運行完以後，會產生一大堆零時文件，shuffle要把它們merge在一塊兒。（會調用combine函數） Reduce端經過TaskTracker監聽到本身的須要數據的哪一個map運行完了，就

>>阅读原文<<