同事最近對MR on Yarn中Map數量的一個小的研究,描述以下:spa
在新版MapReduce 中即 MR on yarn中,不支持設置Map數量。it
Map的數量是由MinInputSplitSize決定的,公式:yarn
Map的數量 = TotalSize / MinInputSplitSize
要想控制Map的數量,能夠經過控制MinInputSplitSize大小來控制Map數量。
若是設置的MinInputSplitSize大於BlockSize,MinInputSplitSize即爲設置的值; 反之設置的MinInputSplitSize小於BlockSize,MinInputSplitSize的值會置爲BlockSize。
若是保持默認設置的話,MinInputSplitSize則爲BlockSize,