大數據系列之MapReduce的shuffle原理

CDA數據分析師 出品 Shuffle 的本義是洗牌、 混洗， 把一組有一定規則的數據儘量轉換成一組無規則的數據，越隨機越好。 MapReduce 中的 Shuffle 更像是洗牌的逆過程， 把一組無規則的數據儘量轉換成一組具有一定規則的數據。 爲什麼 MapReduce 計算模型需要 Shuffle 過程？ 我們都知道 MapReduce 計算模型一般包括兩個重要的階段： Map 是映射， 負責

>>阅读原文<<