MapReduce--------MapReduce 的 Shuffle 機制

一、MapReduce 的 Shuffle 機制 1.一、概述 一、MapReduce 中,mapper 階段處理的數據如何傳遞給 reducer 階段,是 MapReduce 框架中 最關鍵的一個流程,這個流程就叫 Shuffle算法 二、Shuffle: 數據混洗 ——(核心機制:數據分區,排序,局部聚合,緩存,拉取,再合併 排序)編程 三、具體來講:就是將 MapTask 輸出的處理結果數據
相關文章
相關標籤/搜索