Hadoop的Shffle過程

(寫博客主要是爲了複習學習到的知識) 我們知道Hadoop可能會在Reduce階段產生數據傾斜，而發生數據傾斜是經歷了Shuffle階段,所以瞭解Shuffle階段就很有必要 用一張圖來描述這個Shuffle的工作流程 Map方法之後，Reduce方法之前的數據處理過程稱之爲Shuffle 在經過map方法切片並分爲k,v值後進入到環形緩衝區,在環線緩衝區中會進行一次分區，分區以後進行一次排序，然

>>阅读原文<<