mapreduce的shuffle，partition，combine

[b]shuffle：[/b] 　　是描述着數據從map端傳輸到reduce端的過程，並且咱們知道的是hadoop的集羣環境中，大部分map task和reduce task是在不一樣的node上執行，主要的開銷是網絡開銷和磁盤IO開銷，所以shuffle的主要做用至關因而 　　1.完整的從map task端傳輸到reduce task端。 　　2.跨節點傳輸數據時，儘量減小對帶寬的消耗.（注意是

>>阅读原文<<