Hive優化原則-策略-過程簡述(持續更新完善中)

原則 優化時把握總體,單個做業最優不如總體最優 合理控制map reduce數量 減小job數量(合併,大的分拆) 合併小文件 避免傾斜 從錶鏈接的角度優化:儘可能使用內鏈接,由於內鏈接是兩表都知足的行的組合,而外鏈接是以其中一個表的所有爲基準 從索引的角度優化:對那些經常使用的查詢字段簡歷索引,這樣查詢時值進行索引掃描,不讀取數據塊 能夠在查詢的過程當中減小沒必要要的分區,字段 好Hadoop的
相關文章
相關標籤/搜索