Hadoop MapReduce Job性能調優——修改Map和Reduce個數

  map task的數量即mapred.map.tasks的參數值，用戶不能直接設置這個參數。Input Split的大小，決定了一個Job擁有多少個map。默認input split的大小是64M（與dfs.block.size的默認值相同）。然而，若是輸入的數據量巨大，那麼默認的64M的block會有幾萬甚至幾十萬的Map Task，集羣的網絡傳輸會很大，最嚴重的是給Job Tracker的

>>阅读原文<<