大數據學習之路22-數據傾斜場景

比如說又以下數據： a a a a a a a a a a a a a a a a a a a a b a a a a a a a c c b b c h h f d s h j 需要做wordcount,但是會有一個問題存在：a特別多，負責處理a這個單詞數據的reduce worker就會很累（負載不均衡，過大） 這時有一種解決辦法就是使用Combiner,其實Combiner和Reducer的

>>阅读原文<<