MapReduce的shuffle過程圖解

簡介 hadoop系列的學習總結針對的都是hadoop2.6.x版本來說的。 Mapreduce是一個分佈式運算程序的編程框架，下面統一將MapReduce簡稱爲mr。 爲什麼會出現mr？ （1） 海量數據在單機上處理因爲硬件資源限制，無法勝任。 （2） 而一旦將單機版程序擴展到集羣來分佈式運行，將極大增加程序的複雜度和開發難度。 （3） 引入mapreduce框架後，開發人員可以將絕大部分工作集

>>阅读原文<<