Hive --------- hive 的優化

一、表的優化 在表的優化中第一點:當數據量比較大的時候經常使用的手段就是拆分比表,大表拆小表,分區表,臨時表,外部表緩存 小表和大表join,要把數據量小的表放在join的左邊,先進行緩存,這樣減小表join的時候能夠減小內存的消耗量異步   二、數據傾斜 數據傾斜產生的緣由爲分區以後某一個reduce運算的數量比較小,而某一個reduce的數量比較大的時候,形成兩個reduce處理數據不平等jv
相關文章
相關標籤/搜索