hive_學習_02_hive整合hbase（失敗）

 1、前言

本文承接上一篇：hive_學習_01_hive環境搭建(單機) ，主要是記錄 hive 整合hbase的流程

2、環境準備

1.環境準備

操做系統 : linux CentOS 6.8

jdk ：1.7

cdh版本爲： 5.9.3

mysql ：  5.1.73 

hadoop-2.6.0-cdh5.9.3 

hbase-1.2.0-cdh5.9.3

hive-1.1.0-cdh5.9.3

 

2.安裝mysql

 

3.安裝hadoop 

參考：hadoop_學習_02_Hadoop環境搭建(單機)

 

4.安裝 hbase

參考：hbase_學習_01_HBase環境搭建(單機)

 

5.安裝hive

參考：hive_學習_01_hive環境搭建(單機) 

 

3、服務器基本配置

1.配置主機名

（1）修改 hostname

sudo vim /etc/sysconfig/network

 將HOSTNAME修改成 rayner (改爲你本身的，全部的地方一致便可)

 

（2）映射主機 ip 與主機名

sudo vim /etc/hosts

加入如下配置：

192.168.1.102  rayner

 

 

 2.關閉防火牆

關閉防火牆，這樣就能夠在本機 window 中訪問虛擬機的全部端口了

CentOS 7版本如下輸入:

service   iptables stop

CentOS 7 以上的版本輸入：

systemctl   stop   firewalld.service

 

3.時間設置

輸入:

date

查看服務器時間是否一致，若不一致則更改

更改時間命令

date -s ‘MMDDhhmmYYYY.ss’

 

4、知識準備

1.Hive和HBase的通訊意圖

Hive與HBase整合的實現是利用二者自己對外的API接口互相通訊來完成的，其具體工做交由Hive的lib目錄中的hive-hbase-handler-*.jar工具類來實現，通訊原理以下圖所示。

 

 

 

 

2.Hive整合HBase後的使用場景：

（一）經過Hive把數據加載到HBase中，數據源能夠是文件也能夠是Hive中的表。
（二）經過整合，讓HBase支持JOIN、GROUP等SQL查詢語法。
（三）經過整合，不只可完成HBase的數據實時查詢，也能夠使用Hive查詢HBase中的數據完成複雜的數據分析。

 

5、hive整合hbase

由於Hive與HBase整合的實現是利用二者自己對外的API接口互相通訊來完成的，其具體工做交由Hive的lib目錄中的hive-hbase-handler-.jar工具類來實現。

因此只須要將hive的 hive-hbase-handler-.jar 複製到hbase/lib中就能夠了。

 

6、hive 和 hbase 測試

 在進行測試的時候，確保hadoop、hbase、hive環境已經成功搭建好，而且都成功啓動了。

 

 

7、參考資料

1.大數據學習系列之五 ----- Hive整合HBase圖文詳解

2.Hive HBase Integration