MapReduce Shuffle 和 Spark Shuffle 區別看這篇

   MapReduce Shuffle 和 Spark Shuffle 區別看這篇即可 Shuffle的本意是洗牌、混洗的意思,把一組有規則的數據儘量打亂成無規則的數據。而在MapReduce中,Shuffle更像是洗牌的逆過程,指的是將map端的無規則輸出按指定的規則「打亂」成具有一定規則的數據,以便reduce端接收處理。其在MapReduce中所處的工作階段是map輸出後到reduce接收
相關文章
相關標籤/搜索