MapReduce處理流程

MapReduce處理流程 1)把輸出目錄下文件按照一定的標準進行邏輯切片,形成切片規劃 ​ 默認爲,split size=Block size=128M。每一個切片由一個MapTask處理 2)TextInputFormat對切片中的數據進行一行一行的讀取,把每一行文本內容解析成鍵 值對。key是每一行的起始位置,value是本行的文本內容 3)調用map方法,並將mapper結果輸出到環形緩衝
相關文章
相關標籤/搜索