MepReduce面試題:MapReduce中排序發生在哪幾個階段?這些排序是否能夠避免?爲何?

1.map最後階段進行partition分區,通常使用job.setPartitionerClass設置的類,若是沒有自定義Key的hashCode()方法進行分區。在map階段寫出到環形緩衝區,在環形緩衝區溢寫時會進行一次排序,每一個分區內部調用job.setSortComparatorClass設置的key的比較函數類進行排序,若是沒有則使用Key的實現的compareTo方法。函數   2.
相關文章
相關標籤/搜索