Hive map階段緩慢

不一樣數據類型關聯產生數據傾斜優化 場景：用戶表中user_id字段爲int，log表中user_id字段既有string類型也有int類型。當按照user_id進行兩個表的Join操做時，默認的Hash操做會按int型的id來進行分配，這樣會致使全部string類型id的記錄都分配到一個Reducer中。spa 解決方法：把數字類型轉換成字符串類型htm select * from users

>>阅读原文<<