mapreduce運行機制詳解

一個MapTask對應一個切片 切片的計算: long splitSize = Math.max(minSize, Math.min(maxSize, blockSize)) 默認:minSize 1 maxSize Long.MAX_VALUE blockSize 128 splitSize默認是128M。 FileInputFormat先掃描切片,每次掃描一行數據,調用RecordReader
相關文章
相關標籤/搜索