map任務split切片 reduce個數 partition

mapreduce(map和reduce個數) map任務split切片 reduce個數 partition(下面有源碼) map個數:由任務切片spilt決定的,默認情況下一個split的大小就是block 由參與任務的文件個數決定的  maxSize:由配置參數mapred.max.spilt.size確定,已經不考慮用戶設定的maptask個數; minSize:inputSplit的最小
相關文章
相關標籤/搜索