mapreduce的shuffle機制(來自學習筆記)

3. MAPREDUCE原理篇(2) 3.1 mapreduce的shuffle機制 3.1.1 概述: v  mapreduce中,map階段處理的數據如何傳遞給reduce階段,是mapreduce框架中最關鍵的一個流程,這個流程就叫shuffle; v shuffle: 洗牌、發牌——(核心機制:數據分區,排序,緩存) v 具體來說:就是將maptask輸出的處理結果數據,分發給reduce
相關文章
相關標籤/搜索