MapReduce 之 Shuffle過程

   我所認爲的MapReduce 是一個分而之治的過程,首先Map階段將數據分成一個個鍵值對(key,value)的形式,之後reduce階段將含有相同key值的鍵值對做一個聚合,最終形成一個新的鍵值對。 而在Map和Reduce之間中最重要的就是Shuffle過程,shuffle是Hadoop默認給我們配置好的,而爲了使reduce能更好的處理Map的結果,需要進行排序,分割等工作,這就是sh
相關文章
相關標籤/搜索