Hadoop如何計算map數和reduce數

Hadoop在運行一個mapreduce job以前，須要估算這個job的maptask數和reducetask數。首先分析一下job的maptask數，當一個job提交時，jobclient首先分析job被拆分的split數量，而後吧job.split文件放置在HDFS中，一個job的MapTask數量就等於split的個數。sql job.split中包含split的個數由FileInputF

>>阅读原文<<