5. MapReduce中Shuffle

shuffle翻譯爲中文就叫 」洗牌「,把一組有一定規則的數據儘量轉換成一組無規則的數據,越隨機越好。MapReduce中的Shuffle更像是洗牌的逆過程,把一組無規則的數據儘量轉換成一組具有一定規則的數據。有些抽象,當前不理解也沒關係,先了解一下shuffle的流程。 本節內容參考瞭如下內容 [1] MapReduce:詳解Shuffle(copy sort merge)過程 https://
相關文章
相關標籤/搜索