[Hadoop]MapReducer工作過程

1. 從輸入到輸出 一個MapReducer作業經過了input,map,combine,reduce,output五個階段,其中combine階段並不一定發生,map輸出的中間結果被分到reduce的過程成爲shuffle(數據清洗)。 在shuffle階段還會發生copy(複製)和sort(排序)。 在MapReduce的過程中,一個作業被分成Map和Reducer兩個計算階段,它們由一個或者
相關文章
相關標籤/搜索