Map Reduce中的Shuffle大致流程

在mapreduce中，shuffle指把map輸出轉化爲reduce的輸入的過程 shuffle官方流程圖，其中黑線部分爲shuffle： shuffle運行步驟： 1.map輸出後會先經過一個圓形內存緩衝區，用於存儲輸出的鍵值對 （默認大小100MB，mapreduce.task.io.sort.mb調整），一旦達到閾值（默認0.8，mapreduce.task.io.sort.percent

>>阅读原文<<