優化洗牌（shuffle）和排序階段

6.4.3 優化洗牌（shuffle）和排序階段 洗牌和排序階段都很耗費資源。洗牌需要在map和reduce任務之間傳輸數據，會導致過大的網絡消耗。排序和合並操作的消耗也是很顯著的。這一節將介紹一系列的技術來緩解洗牌和排序階段的消耗。   技術46 規避使用reduce Reduce在用於連接數據集的時候將會產生大量的網絡消耗。   問題 需要考慮在MapReduce規避reduce的使用。 方案

>>阅读原文<<