大數據-Shuffle過程

6. Shuffle 過程 map 階段處理的數據如何傳遞給 reduce 階段,是 MapReduce 框架中最關鍵的一個流 程,這個流程就叫 shuffle shuffle: 洗牌、發牌 ——(核心機制:數據分區,排序,分組,規約,合併等過程) shuffle 是 Mapreduce 的核心,它分佈在 Mapreduce 的 map 階段和 reduce 階段。一般 把從 Map 產生輸出開始
相關文章
相關標籤/搜索