hadoop_mapreduce_shuffle洗牌

shuffle是整個mapreduce的核心。下面這篇文章寫得很詳細,把內容複製過來了: https://blog.csdn.net/clerk0324/article/details/52461135     其中,Step2.1就是一個Shuffle操作,它針對多個map任務的輸出按照不同的分區(Partition)通過網絡複製到不同的reduce任務節點上,這個過程就稱作爲Shuffle。
相關文章
相關標籤/搜索