HQL排查數據傾斜

如果某個key下記錄數遠超其他key，在join或group的時候可能會導致某個reduce任務特別慢。本例子SQL如下：查詢每個appid打開的次數，需要排除掉作弊的imei。 說明：表cheat_imei，7500萬條，無大key，爲作弊的imei。表imei_open_app，5億6526萬條，爲每個imei打開的appid。該表中存在大key，md5imei=54bc0748b1c0fb4

>>阅读原文<<