Mapreduce框架-MapTask工做原理

MapTask的工做原理 1 map文件切割 splitsize的大小。分片是按照splitsize的大小進行的,默認狀況下,splitsize的大小等同於hdfs的block大小。但能夠經過參數調節。 splitsize=Math.max(minSize,Math.min(maxSize,blockSize)) 其中:mapreduce配置文件配置。 minSize =mapreduce.inp
相關文章
相關標籤/搜索