hadoop運行原理之shuffle

　hadoop的核心思想是MapReduce，但shuffle又是MapReduce的核心。shuffle的主要工作是從Map結束到Reduce開始之間的過程。首先看下這張圖，就能瞭解shuffle所處的位置。圖中的partitions、copy phase、sort phase所代表的就是shuffle的不同階段。 　　 　　shuffle階段又可以分爲Map端的shuffle和Reduce端的

>>阅读原文<<