MapReduce詳細流程介紹(圖文並茂)

詳解:整個數據處理流程分爲map task 和reduce task 兩部分,map task負責map階段的數據處理, reduce task負責reduce階段的數據處理。 map task 讀文件的時候通過InputFormat中將文本進行切片,再通過RecordReader中的read方法 將文件內容讀取,返回鍵值對,key是文本的行號,value是對應的該行的值,然後我們使用Mapper
相關文章
相關標籤/搜索