Task運行過程分析5——ReduceTask內部實現

與MapTask同樣,ReduceTask也分爲四種,即Job-setup Task,Job-cleanup Task,Task-cleanup Task和Reduce Task。本文重點介紹第四種——普通Reduce Task。 Reduce Task要從各個Map Task上讀取一片數據,經排序後,以組爲單位交給用戶編寫的reduce()函數處理,並將結果寫到HDFS上。本文將深刻剖析Redu
相關文章
相關標籤/搜索