MapReduce Shuffle原理分析

MapReduce Shuffle Shuffle簡介 ​ shuffle的本意是洗牌，把一組有規則的數據打亂成無規則的數據。而在MR中，Shuffle更像是洗牌的逆過程，指的是將map端的無規則數據按指定規則打亂「打亂」成具有一定規則的數據，以便reduce端接收處理。 ​ 在shuffle之前，也就是在map階段，MapReduce會對要處理的數據進行分片(split)操作，爲每一個分片分配一

>>阅读原文<<