hadoop經典系列(七)shuffle中的排序

1.map寫到buffer時候,預排序(爲了後面的快排) 2.spill的時候二次快排 3.再根據partioner排序,每一個partioner里根據key排序 4.在Map 任務完成前,全部的spill 文件將會被歸併排序爲一個索引文件和數據文件 5. 當全部的Map 輸出都被拷貝後,Reduce 任務進入排序階段(更恰當的說應該是歸併階段,由於排序在Map 端就已經完成),這個階段會對全部的
相關文章
相關標籤/搜索