mapreduce設置map個數_mapreduce設置map內存

摘要   在map階段讀取數據前,FileInputFormat會將輸入文件分割成split。split的個數決定了map的個數。java 影響map個數,即split個數的因素主要有:   1)HDFS塊的大小,即HDFS中dfs.block.size的值。若是有一個輸入文件爲1024m,當塊爲node 256m時,會被劃分爲4個split;當塊爲128m時,會被劃分爲8個split。web 2
相關文章
相關標籤/搜索