利用SemanticAnalyzerHook來過濾不加分區條件的Hive查詢

    咱們Hadoop集羣中將近百分之80的做業是經過Hive來提交的,因爲Hive寫起來簡單便捷,並且咱們又提供了Hive Web Client,因此使用範圍很廣,包括ba,pm,po,sales都在使用hive進行ad-hoc查詢,可是hive在下降用戶使用門檻的同時,也使得用戶常常寫不合理開銷很大的語句,生成了不少的mapreduce job,佔用了大量slot數,其中最典型的例子就是分區
相關文章
相關標籤/搜索