Mapreduce中Map與Reduce任務的個數

一、Map任務的個數web 讀取數據產生多少個Mapper？？ Mapper數據過大的話，會產生大量的小文件,過多的Mapper建立和初始化都會消耗大量的硬件資源 Mapper數過小，併發度太小，Job執行時間過長，沒法充分利用分佈式硬件資源編程 Mapper數量由什麼決定？？ （1）輸入文件數目（2）輸入文件的大小（3）配置參數 這三個因素決定的。 輸入的目錄中文件的數量決定多少個map會被運行

>>阅读原文<<