MapReduce框架中的Shuffle機制

Shuffle是map和reduce中間的數據調度過程，包括：緩存、分區、排序等。html Shuffle數據調度過程：git map task處理hdfs文件，調用map()方法，map task的collect thread將map()方法結果放入環形緩衝區(默認大小100M) 當環形緩衝區達到閾值(80%)，將會觸發溢出操做，split thread線程會調用HashPartitioner或

>>阅读原文<<