MapReduce shuffle過程詳解

一、MapReduce計算模型 我們知道MapReduce計算模型主要由三個階段構成：Map、shuffle、Reduce。 Map是映射，負責數據的過濾分法，將原始數據轉化爲鍵值對；Reduce是合併，將具有相同key值的value進行處理後再輸出新的鍵值對作爲最終結果。爲了讓Reduce可以並行處理Map的結果，必須對Map的輸出進行一定的排序與分割，然後再交給對應的Reduce，而這個將Ma

>>阅读原文<<