MapReduce運行流程

以wordcount爲例,運行的詳細流程圖 1.split階段 首先mapreduce會根據要運行的大文件來進行split,每個輸入分片(input split)針對一個map任務,輸入分片(input split)存儲的並非數據本身,而是一個分片長度和一個記錄數據位置的數組。輸入分片(input split)往往和HDFS的block(塊)關係很密切,假如我們設定HDFS的塊的大小是64MB,我
相關文章
相關標籤/搜索