MapReduce之奇蹟發生的地方:shuffle

出處:http://langyu.iteye.com/blog/992916#comments hadoop核心:MapReduce原理。 MR的核心是shuffle,被稱爲奇蹟發生的地方。 shuffle,弄亂,洗牌的意思。partition 分區,sort 排序,spill溢出,disk 磁盤 下面是官方對shuffle的配圖: phase 階段,fetch 最終,merge 合併 看不懂沒關
相關文章
相關標籤/搜索