Shuffle的兩種寫操作

一、簡介         在Hadoop的MapReduce框架中，Shuffle是連接Map和Reduce之間的橋樑，Map的輸出要被使用到Reduce中必須經過Shuffle這個環節。由於Shuffle階段涉及磁盤的讀寫和網絡傳輸，因此Shuffle的性能高低直接影響到整個程序的性能和吞吐量。在MapReduce過程中，需要各個節點上的同一類數據彙集到某個節點進行計算，把這些分佈在不同節點的數

>>阅读原文<<