Hadoop-Shuffle洗牌過程,與combine和partition的關係

  Shuffle的正常意思是洗牌或弄亂,是MapReduce的核心。 下圖展示了Shuffle包含的步驟: phase:階段 partitions:分開,隔離 marge/combine:合併 上圖包含了整個mapreduce過程,更準確的說shuffle包含partitions和sort、combine(merge)過程,對應map到reduce之間的過程,不包括map和reduce。 我們來
相關文章
相關標籤/搜索