Hadoop安裝之Hive集成與mysql安裝

一、官網下載Hive組件，拷貝至虛擬機，

　　地址： https://pan.baidu.com/s/1_ijjPTJdKfsA3JbbqYNN3Q   5fwu

　　tar -zxvf apache-hive-2.3.3-bin.tar.gz 解壓命令

二、配置環境變量，　　vi .bash_profile 

　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export PATH=$HIVE_HOME/bin:$PATH

　　source  .bash_profile  生效

三、修改配置文件，$HIVE_HOME/conf/下

　　執行文件拷貝命令

　　　　cp hive-env.sh.template hive-env.sh

　　　　cp hive-default.xml.template hive-site.xml

　　　　cp hive-log4j2.properties.template hive-log4j2.properties

　　　　cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

　　1）編輯 hive-env.sh，增長以下

　　　　export JAVA_HOME=/home/wdd/jre1.8.0_162

　　　　export HADOOP_HOME=/home/wdd/hadoop-2.9.0
　　　　export HIVE_HOME=/home/wdd/apache-hive-2.3.3-bin
　　　　export HIVE_CONF_DIR=/home/wdd/apache-hive-2.3.3-bin/conf

　　     在hsdf 中建立目錄以下：

　　　　

　　2） 修改hive-site.xml文件

　　　　<property>

　　　　　　<name>hive.exec.scratchdir</name>

　　　　　　<value>/data/hadoop/hive/tmp</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.metastore.warehouse.dir</name>

　　　　　　 <value>/data/hadoop/warehouse</value>

　　　　</property>

　　　　<property>

　　　　　　<name>hive.querylog.location</name>

　　　　　　 <value>/data/hadoop//hive/log</value>

　　　　</property>

　　　　

　　4） 修改臨時目錄，tmp，，mkdir /home/wdd/hive/tmp -p

　　　　在配置文件 hive-site.xml 裏面

　　　　把{system:java.io.tmpdir} 改爲 /home/hadoop/hive-2.1.1/tmp/

　　　　把 {system:user.name} 改爲 {user.name}

四、配置驅動包，下載驅動包，

　　　　下載地址：https://www.mysql.com/products/connector/

　　　　下載完成後把mysql-connector-java-5.1.30-bin.jar 而後放入 $HIVE_HOME/lib 目錄下

五、初始化Hive

　　　　schematool -dbType mysql -initSchema 

　　　　1） 報錯以下：　　　　　　

　　　　　　org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver

　　　　　　緣由：驅動包放錯位置了，

　　　　2）再次初始化報錯以下：

　　　　　　

　　　　　　解決辦法：說是增長一個用戶便可，執行以下命令：

　　　　　　　　

　　　　　　如上報錯，須要執行以下命令：

　　　　　　　　　

 

 　　　　而後在執行 schematool -dbType mysql -initSchema，正常經過，以下：

　　　　

 

 

安裝Mysql

一、安裝環境

　　centos7，

　　下載地址：https://dev.mysql.com/downloads/

　　拷貝至虛擬機，只須要安裝以下四個文件，用rpm命令

　　使用root用戶安裝，

　　　　#rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　　　#rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

 

二、對於Centos7安裝mysql 5.7須要檢查是否安裝mariadb-lib，若是有，必須卸載

　　檢查命令 ： rpm -qa | grep mariadb-lib

　　卸載命令： rpm -i mariadb-lib --nodeps

 

三、安裝順序

　　1） rpm -ivh mysql-community-common-5.7.13-1.el6.x86_64.rpm

　　2） rpm -ivh mysql-community-libs-5.7.13-1.el6.x86_64.rpm

　　3） rpm -ivh mysql-community-client-5.7.13-1.el6.x86_64.rpm

　　4） rpm -ivh mysql-community-server-5.7.13-1.el6.x86_64.rpm

 

四、安裝完成後，須要進行初始化，

　　mysqld --initialize --user=mysql

　　啓動服務，service mysqld start

五、登錄用戶

　　mysql -u root -p

　　所須要密碼在/var/log/mysqld.log中查找，或者沒有密碼

六、mysql root密碼重置方法

　　修改/etc/my.cnf 文件，在以下位置增長紅色框框中的話，

　　

　　重啓MySQL服務 service mysqld restart，執行以下命令

　　1） mysql

　　2） use mysql

　　3） update mysql.user set authentication_string=password('root') where user='root' ;

　　修改/etc/my.cnf爲原樣子