Hive集羣搭建

Hive集羣搭建

• 配置hadoop集羣，參見hadoop-3.0.0集羣搭建。hive只需在一個節點配置便可，例如master節點
• 下載Hive

wget -c http://ftp.riken.jp/net/apache/hive/hive-2.3.2/apache-hive-2.3.2-bin.tar.gz

• 解壓

tart -zxvf apache-hive-2.3.2-bin.tar.gz -C /usr/java/

• 配置環境變量vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

export HADOOP_HOME=/usr/java/hadoop-3.0.0
export PATH=$HADOOP_HOME:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HIVE_HOME=/usr/java/apache-hive-2.3.2-bin
export PATH=$HIVE_HOME/bin:$PATH

• 當即生效

source /etc/profile

• 安裝mysql，參看mysql安裝配置
• 新建hdfs文件

hdfs dfs -mkdir -p /home/wujinlei/hive/warehouse

• conf下新建hive-site.xml，添加以下配置

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>wujinlei</value>
  </property>
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/home/wujinlei/hive/warehouse</value>
  </property>
</configuration>

• lib文件夾下下載jdbcjar包

wget -c http://central.maven.org/maven2/mysql/mysql-connector-java/6.0.6/mysql-connector-java-6.0.6.jar

• Mysql數據庫初始化

schematool -dbType mysql -initSchema

• 啓動hive

  • 方式一：啓動hiveserver2

  hiveserver2

  ps:若是提示log4j重複，刪除其中的一個log4j jar包便可。若是提示沒有hbase，安裝hbase設置/etc/profile便可。 訪問hive web頁面：http://192.168.56.101:10002/

  • 啓動完hiveserver2以後，使用beeline鏈接hive

  beeline
  !connect jdbc:hive2://master:10000

  也能夠執行以下命令：

  beeline -u jdbc:hive2://master:10000 -n wujinlei -p wujinlei --verbose=true

  若是報錯以下

  Error: Could not open client transport with JDBC Uri: jdbc:hive2://master:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: wujinlei is not allowed to impersonate wujinlei (state=08S01,code=0)

  須要在hadoop的core-site.xml配置文件裏面加入以下配置：

  <property>
    <name>hadoop.proxyuser.wujinlei.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.wujinlei.hosts</name>
    <value>*</value>
  </property>

  如不報錯，繼續輸入用戶名wujinlei，密碼wujinlei，登陸成功以後，便可執行HQL命令。例如：show databases;

  • 方式二

  hive

  執行HQL命令。