mapReduce中重要參數調優

現在我們來假設一個集羣有一個namenode以及8個datanode，這是一個很客觀的集羣。我們假設上面的數據都是三備份，那麼本地數據率爲3/8。首先數據要進行map，然後merge，然後reduce進程進行copy，最後進行reduce，其中的merge和copy總稱可以爲shuffle。在你起一個job前，hadoop需要知道你要啓動多少個map，多少個renduce進程，如果你進行默認參數啓

>>阅读原文<<