大數據第四課-Hive的安裝和簡單使用

1、安裝MySQL

CentOS 7中切換到root用戶，安裝mysql

在CentOS 7中默認安裝有MariaDB，這個是MySQL的分支；但仍是要安裝MySQL，並且安裝完成以後會直接覆蓋掉MariaDB

su root
cd /kkb/soft/

一、下載並安裝mysql官方的yum源

yum -y install wget

出現一下界面表示安裝成功

 二、使用wget命令下載mysql的rpm包

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

三、安裝mysql

yum -y install mysql57-community-release-el7-10.noarch.rpm

出現如下界面表示安裝成功

 四、安裝mysql server

　（這步可能會花些時間，須要在線下載，視網速而定；而後再安裝；安裝完成後就會覆蓋掉以前的mariadb）

yum -y install mysql-community-server

 五、首先啓動MySQL服務

systemctl start mysqld.service

六、查看mysql啓動狀態

systemctl status mysqld.service

下圖active（running）表示mysql服務已啓動

 七、查看臨時密碼並使用臨時密碼登錄

grep "password" /var/log/mysqld.log

mysql -uroot -p

 而後在MySQL裏面進行下面一系列操做

設置密碼策略爲LOW，此策略只檢查密碼的長度
set global validate_password_policy=LOW;
設置密碼最小長度
set global validate_password_length=6;
修改mysql的root用戶，本地登錄的密碼爲123456
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';
開啓mysql的遠程鏈接權限
grant all privileges  on  *.* to 'root'@'%' identified by '123456' with grant option;
刷新權限
flush privileges;

 2、安裝Hive

下載hive的安裝包

http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.14.2.tar.gz

規劃安裝目錄 /kkb/install

上傳安裝包到node03服務器中的/kkb/soft路徑下

解壓安裝包到指定的規劃目錄/kkb/install

tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install/

一、修改配置文件

進入到Hive的安裝目錄下的conf文件夾中

cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/

重命名hive-env.sh.template

mv hive-env.sh.template hive-env.sh

修改hive-env.sh，修改內容以下

#配置HADOOP_HOME路徑
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/

#配置HIVE_CONF_DIR路徑
export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf

修改hive-site.xml

conf目錄下默認沒有此文件，vim建立便可conf目錄下默認沒有此文件，vim建立便可

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
        <property>
                <name>javax.jdo.option.ConnectionURL</name>
                <value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&amp;characterEncoding=latin1&amp;useSSL=false</value>
        </property>

        <property>
                <name>javax.jdo.option.ConnectionDriverName</name>
                <value>com.mysql.jdbc.Driver</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionUserName</name>
                <value>root</value>
        </property>
        <property>
                <name>javax.jdo.option.ConnectionPassword</name>
                <value>123456</value>
        </property>
        <property>
                <name>hive.cli.print.current.db</name>
                <value>true</value>
        </property>
        <property>
                <name>hive.cli.print.header</name>
            <value>true</value>
        </property>
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>node03</value>
        </property>
</configuration>

修改日誌配置文件hive-log4j.properties

建立hive日誌存儲目錄

mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/

重命名生成文件hive-log4j.properties

mv hive-log4j.properties.template hive-log4j.properties

修改此文件的hive.log.dir屬性的值

#更改如下內容，設置咱們的hive的日誌文件存放的路徑，便於排查問題
hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

二、上傳mysql驅動包

mysql-connector-java-5.1.38.jar到/kkb/soft目錄中

cp mysql-connector-java-5.1.38.jar /kkb/install/hive-1.1.0-cdh5.14.2/lib/

配置Hive環境變量

export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2
export PATH=$PATH:$HIVE_HOME/bin

切換回hadoop用戶，並source

source /etc/profile

 3、檢查MySQL和Hive的安裝

一、進入MySQL，執行語句  show databases;

 

 二、啓動hadoop集羣后在node03節點上能夠執行hive