Mapreduce框架-shuffle

1.shuffle簡介 shuffle的正常意思是洗牌或弄亂。它只表明reduce task獲取map task的輸出的過程，也能夠理解爲從map輸出到reduce輸入的整個過程。shuffle是MR的核心，也有把它稱爲奇蹟發生的地方。這樣MR的過程能夠簡化爲下圖 將MR簡化過程圖進行細化，就有了那張經典流程圖 web 2.shuffle過程包含的階段 把map階段完成數據的程序處理到reduce

>>阅读原文<<