MapReduce Shuffle詳解1

1.shuffle過程介紹: shuffle的本意是洗牌,混洗,是把一組有一定規則的數據儘量轉換成一組無規則的數據,越隨機越好.MapReduce中的shuffle更像是洗牌的逆過程,把一組無規則的數據儘量轉換成一組具有一定規則的數據 2.爲什麼MapReduce計算模型要需要shuflle過程? 我們都知道MapReduce計算模型包括兩個重要的階段:Map映射,負責數據的過濾分發,Reduce

>>阅读原文<<