mapReduce中重要參數調優

如今咱們來假設一個集羣有一個namenode以及8個datanode，這是一個很客觀的集羣。咱們假設上面的數據都是三備份，那麼本地數據率爲3/8。首先數據要進行map，而後merge，而後reduce進程進行copy，最後進行reduce，其中的merge和copy總稱能夠爲shuffle。在你起一個job前，hadoop須要知道你要啓動多少個map，多少個renduce進程，若是你進行默認參數啓

>>阅读原文<<