MapReduce--------MapReduce 的 Shuffle 機制

1、MapReduce 的 Shuffle 機制 1.1、概述 1、MapReduce 中,mapper 階段處理的數據如何傳遞給 reducer 階段,是 MapReduce 框架中 最關鍵的一個流程,這個流程就叫 Shuffle 2、Shuffle: 數據混洗 ——(核心機制:數據分區,排序,局部聚合,緩存,拉取,再合併 排序) 3、具體來說:就是將 MapTask 輸出的處理結果數據,按照
相關文章
相關標籤/搜索