hadoop的shuffle機制

hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是從Map結束到Reduce開始之間的過程。首先看下這張圖，就能瞭解shuffle所處的位置。圖中的partitions、copy phase、sort phase所代表的就是shuffle的不同階段。 　　 　　shuffle階段又可以分爲Map端的shuffle和Reduce端的s

>>阅读原文<<