關於Mapreduce On Yarn中Map數量的設置

同事最近對MR on Yarn中Map數量的一個小的研究,描述以下:spa

    在新版MapReduce 中即 MR on yarn中,不支持設置Map數量。it

    Map的數量是由MinInputSplitSize決定的,公式:yarn

    Map的數量 = TotalSize / MinInputSplitSize

    要想控制Map的數量,能夠經過控制MinInputSplitSize大小來控制Map數量。

        若是設置的MinInputSplitSize大於BlockSize,MinInputSplitSize即爲設置的值; 反之設置的MinInputSplitSize小於BlockSize,MinInputSplitSize的值會置爲BlockSize

        若是保持默認設置的話,MinInputSplitSize則爲BlockSize

相關文章
相關標籤/搜索