混洗和排序

在mapreduce過程中,map輸出的結果默認是按照key進行排序的,這個排序的過程加上與將map的輸出結果傳送到reducer作爲輸入的過程統稱爲混洗。理解混洗的過程對於理解整個hadoop很有幫助,書中也提到混洗就是hadoop發揮它威力的地方。 1. map side: map函數執行後會不斷的產生結果,這些結果不是簡單的寫入磁盤的。每個map任務都有一個循環隊列,map輸出結果首先會存放
相關文章
相關標籤/搜索