hadoop MapReduce模型的shuffle過程

shuffle是MapReduce編程模型的核心。它主要指從maptask輸出key/value到reducetask接受輸入這段過程。這段過程也被稱爲「神奇發生的地方」，是mapreduce能順利進行的保障。它的官方描述圖如下： 先來分析map端的操作： 在這圖種，map端的input來自本機存儲的block種的數據。每執行一次map函數式，會傳入偏移量和一行block中的數據，經過map函數的

>>阅读原文<<