Hive搭建與簡單使用

hive搭建與簡單使用（1）

標籤（空格分隔）： hive，mysql

---

hive至關於編譯器的組件，他並不存儲數據，元數據存儲在mysql中，數據則存放在hdfs中，經過hive，能夠利用sql語句對存儲在hdfs的數據進行處理。

安裝前準備

Hadoop要搭建好（參考前面的文章）
mysql-5.6.34-linux-glibc2.5-x86_64.tar.gz
apache-hive-2.1.1-bin.tar.gz
mysql安裝參考了博客：http://www.javashuo.com/article/p-cdfukclr-e.html

注意事項

個人路徑放在了/root/下，你要根據本身的狀況去修改下面的操做
操做系統是centos7

詳細搭建步驟

1.mysql的安裝

1.搭建mysql，mysql不須要在每臺機子上都安裝，只須要在namenode（主機）上安裝就好了，若是確保高可用，還能夠作一個主從複製。

2.將此壓縮包放在/root/目錄下，並執行解壓命令：

tar xf mysql-5.6.34-linux-glibc2.5-x86_64.tar.gz
mv mysql-5.6.34-linux-glibc2.5-x86_64 mysql

3.建立一個不能登錄系統可是能夠管理數據庫存儲目錄的用戶mysql：

cd mysql
useradd -s /sbin/nologin -M mysql

4.對數據庫存儲目錄進行受權：

chown -R mysql.mysql ./mysql/data/

5.初始化數據庫：

./mysql/scripts/mysql_install_db --basedir=/root/mysql --datadir=/root/mysql/data --user=mysql
###備註：這一步可能會報錯，是由於沒有下載perl 和 perl-devel，用yum進行安裝便可

6.將啓動腳本放到啓動目錄中,並對兩個文件中路徑進行修改：

cp  /root/mysql/support-files/mysql.server  /etc/init.d/mysqld
sed -i 's#/usr/local/mysql#/root/mysql#g' /root/mysql/bin/mysqld_safe
sed -i 's#/usr/local/mysql#/root/mysql#g' /etc/init.d/mysql

7.將mysql自帶的配置文件複製爲/etc/my.cnf：

cp /root/mysql/support-files/my-default.cnf /etc/my.cnf

8.啓動mysql，執行命令：

service mysqld start

9.設置root用戶密碼：

/root/mysql/bin/mysqladmin -u root password 'mysql123456'

10.登陸mysql，執行命令：

/root/mysql/bin/mysql -uroot -pmysql123456

2.hive的安裝

1.解壓hive，採用的版本是apache-hive-2.1.1-bin.tar.gz

tar xf apache-hive-2.1.1-bin.tar.gz
mv apache-hive-2.1.1-bin hive

2.添加到環境變量,在/etc/profile加上

export HIVE_HOME=/root/hive
export HIVE_CONF_DIR=/root/hive/conf
PATH=$PATH:$HIVE_HOME/bin
#保存退出後，執行 source /etc/profile 讓環境變量生效

3.啓動Hadoop

start-all.sh

4.利用Hadoop建立一些必要的目錄(配置文件要用到這些目錄)，並賦予權限

hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod -R 777 /user/hive/warehouse
hadoop fs -mkdir -p /tmp/hive
hadoop fs -chmod -R 777 /tmp/hive
cd /root/hive
mkdir tmp
chmod 777 ./tmp

5.修改hive-env.sh

cp hive-env.sh.template hive-env.sh
vi hive-env.sh
#將下面三行寫入這個配置文件，注意用本身的路徑
HADOOP_HOME=/root/hadoop-2.8.0
export HIVE_CONF_DIR=/root/hive/conf
export HIVE_AUX_JARS_PATH=/root/hive/lib

6.修改hive-site.xml

cd /root/hive/conf
cp hive-default.xml.template hive-site.xml
#下面兩個命令把配置文件中的兩個變量進行所有替換
#這個/root/hive/tmp就是以前建立的
#這個root是個人用戶名
sed -i ‘s#${system:java.io.tmpdir}#/root/hive/tmp#g’ hive-site.xml
sed -i ‘s#${system:user.name}#root#g’ hive-site.xml

7.修改hive-site.xml中關於mysql的配置

將javax.jdo.option.ConnectionDriverName的值改爲mysql驅動：
  com.mysql.jdbc.Drive
將javax.jdo.option.ConnectionURL的值改爲mysql鏈接路徑：
  jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
將javax.jdo.option.ConnectionUserName的值改爲mysql用戶名：root
將javax.jdo.option.ConnectionPassword的值改爲mysql密碼：mysql123456

8.下載mysql驅動包

cd /root/hive/lib
wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

9.對mysql進行初始化

cd /root/hive/bin
./schematool -initSchema -dbType mysql

10.執行命令hive，查看是否安裝成功

至此，hive搭建完成，本代碼已通過實驗，請放心使用，但仍是須要根據狀況作適當修改

新手上路，錯誤在所不免，懇請你們多多指正