MapReduce排序

  之前在工作中使用到過MapReduce的排序,當時對於這個平臺的理解還比較淺顯,選擇的是一個最爲簡單的方式,就是隻用一個Recude來做。因爲Map之後到Reduce階段,爲了Merge的方便,MapReduce的實現會自己依據key值進行排序,這樣得出的結果就是一個整體排序的結果。而如果使用超過一個Reduce任務的話,所得的結果是每個part內部有序,但是整體是需要進行merge纔可以得到
相關文章
相關標籤/搜索