Hive針對distinct的優化（一）

hive針對count(distinct xxx)只產生一個reduce的優化。web 0x00 形成的緣由 因爲使用了distinct，致使在map端的combine沒法合併重複數據；對於這種count()全聚合操做時，即便設定了reduce task個數，set mapred.reduce.tasks=100；hive也只會啓動一個reducer。這就形成了全部map端傳來的數據都在一個tas

>>阅读原文<<