大數據Hive 面試以及知識點

  1 hive表關聯查詢，如何解決數據傾斜的問題? 傾斜緣由：sql map輸出數據按key Hash的分配到reduce中，因爲key分佈不均勻、業務數據自己的特、建表時考慮不周、等緣由形成的reduce 上的數據量差別過大。數據庫 1)、key分佈不均勻;數組 2)、業務數據自己的特性;負載均衡 3)、建表時考慮不周;函數 4)、某些SQL語句自己就有數據傾斜;工具 如何避免：對於key爲空

>>阅读原文<<