mapreduce 作業中 map/reduce 個數的計算

1. 問題描述    當在hadoop集羣提交mapreduce作業時,map 和 reduce 的個數是如何計算的?   2. map個數的計算    2.1  map個數的計算和分片大小(splitSize)是有關係的,所以我們先看看splitSize的計算公式:  long splitSize =   Math.max(minSize, Math.min(maxSize, blockSize
相關文章
相關標籤/搜索