mapreducer的運行機制

mapreducer的運行機制 map階段 1 通過讀取數據組件 InputFormat (默認 TextInputFormat) 將文件進行邏輯切片,然後啓動對應切片個數的maptask任務 2 通過recordread讀取數據,返回<key1,value1>的鍵值對 3 進入自定義的mapper類中,調用map函數,讀取一行記錄就會調用一次,輸出處理後的鍵值對; map的shuffle階段 4
相關文章
相關標籤/搜索