數據傾斜

3.自定義分區,這須要用戶本身繼承partition類,指定分區策略,這種方式效果比較顯著。web 4.從新設計key,有一種方案是在map階段時給key加上一個隨機數,有了隨機數的key就不會被大量的分配到同一節點(小概率),待到reduce後再把隨機數去掉便可。網絡 5.使用combinner合併,combinner是在map階段,reduce以前的一箇中間階段,在這個階段能夠選擇性的把大量的

>>阅读原文<<