黑猴子的家：Hive 表的優化之 大表 Join 大表

1、空KEY過濾 有時join超時是因爲某些key對應的數據太多，而相同key對應的數據都會發送到相同的reducer上，從而導致內存不夠。此時我們應該仔細分析這些異常的key，很多情況下，這些key對應的數據是異常數據，我們需要在SQL語句中進行過濾。例如key對應的字段爲空，操作如下 案例實操 （1）配置歷史服務器 配置mapred-site.xml <property> <name>

>>阅读原文<<