job的文件split計算法則

計算切片數量和大小(注意視頻中的是hadoop 2.7.3,每個版本的方法都有變動,以實際爲準) List<InputSplit> splits = input.getSplits(job); 切片數量選擇過程   最小值(肯定>=1):long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job)); 返回的是1 最大值
相關文章
相關標籤/搜索