MapReduce 調優基本思路

mapreduce 的調優通常都是基於shuffle階段的。下面就講講基本思路。java 調優的基本原則就是給 shuffle 階段儘量大的內存。可是由於map和reduce函數的執行也須要內存，因此shuffle須要多少內存須要權衡一下，好比儘可能避免在 map reduce 用 哈希表等結構對數據進行聚合操做，讓 map 和 reduce 佔用的內存儘量小。apache map 和 reduc

>>阅读原文<<