黑猴子的家:Hive 表的優化之MapJoin

如果不指定MapJoin或者不符合MapJoin的條件,那麼Hive解析器會將Join操作轉換成Common Join,即:在Reduce階段完成join。容易發生數據傾斜。可以用MapJoin把小表全部加載到內存在map端進行join,避免reducer處理。 1、開啓MapJoin參數設置 (1)設置自動選擇Mapjoin //默認爲true set hive.auto.convert.joi
相關文章
相關標籤/搜索