MapReduce框架筆記——Shuffle過程詳解

0x0 背景 map-reduce是hadoop自帶的計算框架，雖然如今大多數項目已經不採用該框架進行計算（Spark等基於內存的計算框架效率更高），可是他的原理仍是值得進行研究的。map-reduce框架核心就是shuffle的過程，下面記錄一下關於shuffle的理解。web 0x1 Map端Shuffle 首先看下Hadoop權威指南中的圖片 app 針對一個map任務，可看到如下步驟： 1

>>阅读原文<<