mapreduce參數調優

廢話不說直接來一張圖以下：java   從JVM的角度看Map和Reducenode Map階段包括： 第一讀數據：從HDFS讀取數據 一、問題:讀取數據產生多少個Mapper？？     Mapper數據過大的話，會產生大量的小文件，因爲Mapper是基於虛擬機的，過多的Mapper建立和初始化及關閉虛擬機都會消耗大量的硬件資源；apache     Mapper數過小，併發度太小，Job執行時

>>阅读原文<<