Mapreduce框架-shuffle

1.shuffle簡介 shuffle的正常意思是洗牌或弄亂。它只代表reduce task獲取map task的輸出的過程，也可以理解爲從map輸出到reduce輸入的整個過程。shuffle是MR的核心，也有把它稱爲奇蹟發生的地方。這樣MR的過程可以簡化爲下圖 將MR簡化過程圖進行細化，就有了那張經典流程圖 2.shuffle過程包含的階段 把map階段完成數據的程序處理到reduce階段開始

>>阅读原文<<