CDH6.3.2升級Hive到4.0.0

升級目的：爲上層開發，提供統一元數據服務並能經過hive操做kudu表，kylin能夠經過hive對在kudu中的數據作分析

面臨問題：hive4.0以前hive沒有KuduStorageHandler機制，須要hive和kudu整合功能而升級，可是github上官方開源的代碼看該模塊代碼沒完成。因此須要本身提供實現或等官方發佈，爲了知足當下需求，羚羊選擇了本身實現

一、備份原元數據

mysqldump -uroot  -pxxxxxx metastore > ./metastore.sql

二、解壓備好的hive安裝包

cd /opt/cloudera
tar -xvf apache-hive-4.0.0-SNAPSHOT-bin.tar.gz

 

三、原hive安裝目錄下建立lib400目錄

cd /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive
mkdir lib400

 四、拷貝hive新版本lib到lib400目錄下(只替換hive開頭的jar包，其餘jar包不要替換,其中hive-exec-2.1.1-cdh6.3.2.jar不要換)

cp -r /opt/cloudera/apache-hive-4.0.0-SNAPSHOT-bin/lib/* /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/lib400

五、CM中停掉hive，及hive相關的服務

六、 修改hive啓動文件，調用lib400的jar包

vim /opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin/hive
/HIVE_LIB

同步lib和hive腳本文件到全部節點 

scp -P41121 -r lib400/ hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/
scp -P41121 -r hive hadoop@10.111.15.164:/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/lib/hive/bin

七、各節點建立軟連接

ln -s /opt/cloudera/parcels/CDH/lib/hive/lib400/jline-2.14.6.jar /opt/cloudera/parcels/CDH/lib/hadoop-yarn/lib/jline-2.12.jar

　　升級元數據庫 metastore到hive4.0.0

source /data/metastore-backup/mysql/upgrade-2.1.0-to-2.2.0.mysql.sql
source /data/metastore-backup/mysql/upgrade-2.2.0-to-2.3.0.mysql.sql
source /data/metastore-backup/mysql/upgrade-2.3.0-to-3.0.0.mysql.sql
source /data/metastore-backup/mysql/upgrade-3.0.0-to-3.1.0.mysql.sql
source /data/metastore-backup/mysql/upgrade-3.1.0-to-3.2.0.mysql.sql
source /data/metastore-backup/mysql/upgrade-3.2.0-to-4.0.0.mysql.sql

七、CM中再啓動hive

八、查看hive版本

hive -version

須要源碼的朋友能夠私信