以wordcount爲例詳細描述mr執行過程

總結: MR程序的執行過程主要分爲三步:Map階段、Shuffle階段、Reduce階段,如上圖 Map階段: 分片(Split):map階段的輸入通常是HDFS上文件,在運行Mapper前,FileInputFormat會將輸入文件分割成多個split ——1個split至少包含1個HDFS的Block(默認爲128M);然後每一個分片運行一個map進行處理。 執行(Map):對輸入分片中的每個
相關文章
相關標籤/搜索