InputSplit&&處理階段mapReduce【partioner,combiner,shuffle】->reduce

InputSplit 輸入分片(Input Split):在進行map計算之前,mapreduce會根據輸入文件計算輸入分片(input split),每個輸入分片(input split)針對一個map任務,輸入分片(input split)存儲的並非數據本身,而是一個分片長度和一個記錄數據的位置的數組。 Hadoop 2.x默認的block大小是128MB,hadoop 1.x默認的block
相關文章
相關標籤/搜索