MR的Shuffle過程

爲什麼80%的碼農都做不了架構師?>>>    Map是映射,負責數據的過濾分法,將原始數據轉化爲鍵值對;Reduce是合併,將具有相同的key值的value進行處理後再輸出新的鍵值對作爲最終結果。爲了讓Reduce可以並行處理Map的結果,必須對Map的輸出進行一定的排序與分割,然後再交給對應的Reduce,Map端的輸出作爲Reduce的輸入的過程叫做Shuffle.   Shuffle過程包
相關文章
相關標籤/搜索