Hadoop整個MR的過程源碼解析(三)-reduce端任務的執行

剛剛又從頭至尾的看了一下reduce的源碼,我的感受有幾個重點,shuffle、sort、以及reduce,其中shuffle和sort階段是並行發生的,當內存中的數據到達默認的內存峯值時,會自動觸發文件的落地操做。相對於前兩個階段,reduce就更爲直接,重要的東西由這幾個,底層迭代器,封裝的二次迭代器,nextKeyValue的方法,nextKeyIsSame的用處以及賦值。接下來仔細看代碼h
相關文章
相關標籤/搜索