Hadoop的shuffle過程

首先上官方圖： 然後做一個簡單的流程解釋（以wordcount爲例）： 裏面涉及到的點有環形緩衝區 詳細說明： 以wordcount爲例，假設有5個map和3個reduce： map階段 1、在map task執行時，它的輸入數據來源於HDFS的block，當然在MapReduce概念中，map task只讀取split。Split與block的對應關係可能是多對一，默認是一對一。 2、在經過ma

>>阅读原文<<