mapreduce中MAP數量

一、果斷先上結論 1.如果想增加map個數,則設置mapred.map.tasks 爲一個較大的值。 2.如果想減小map個數,則設置mapred.min.split.size 爲一個較大的值。 3.如果輸入中有很多小文件,依然想減少map個數,則需要將小文件merger爲大文件,然後使用準則2。 二、原理與分析過程 看了很多博客,感覺沒有一個說的很清楚,所以我來整理一下。 輸入分片(Input
相關文章
相關標籤/搜索