hbase與Hive的集成

1 HBase與Hive的對比

 

1．Hive

(1) 數據倉庫

Hive的本質其實就至關於將HDFS中已經存儲的文件在Mysql中作了一個雙射關係，以方便使用HQL去管理查詢。

(2) 用於數據分析、清洗

Hive適用於離線的數據分析和清洗，延遲較高。

(3) 基於HDFS、MapReduce

Hive存儲的數據依舊在DataNode上，編寫的HQL語句終將是轉換爲MapReduce代碼執行。

2．HBase

(1) 數據庫

是一種面向列存儲的非關係型數據庫。

(2) 用於存儲結構化和非結構化的數據

適用於單表非關係型數據的存儲，不適合作關聯查詢，相似JOIN等操做。

(3) 基於HDFS

數據持久化存儲的體現形式是Hfile，存放於DataNode中，被ResionServer以region的形式進行管理。

(4) 延遲較低，接入在線業務使用

面對大量的企業數據，HBase能夠直線單表大量數據的存儲，同時提供了高效的數據訪問速度。

2 HBase與Hive集成使用

尖叫提示：HBase與Hive的集成在最新的兩個版本中沒法兼容。因此，咱們只能含着淚勇敢的從新編譯：hive-hbase-handler-1.2.2.jar！！好氣！！

環境準備

由於咱們後續可能會在操做Hive的同時對HBase也會產生影響，因此Hive須要持有操做HBase的Jar，那麼接下來拷貝Hive所依賴的Jar包（或者使用軟鏈接的形式）。

export HBASE_HOME=/opt/module/hbase
export HIVE_HOME=/opt/module/hive

ln -s $HBASE_HOME/lib/hbase-common-1.3.1.jar  $HIVE_HOME/lib/hbase-common-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-server-1.3.1.jar $HIVE_HOME/lib/hbase-server-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-client-1.3.1.jar $HIVE_HOME/lib/hbase-client-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-protocol-1.3.1.jar $HIVE_HOME/lib/hbase-protocol-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-it-1.3.1.jar $HIVE_HOME/lib/hbase-it-1.3.1.jar
ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar
ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.3.1.jar
ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.3.1.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.3.1.jar

同時在hive-site.xml中修改zookeeper的屬性，以下：

<property>
  <name>hive.zookeeper.quorum</name>
  <value>hadoop102,hadoop103,hadoop104</value>
  <description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>
<property>
  <name>hive.zookeeper.client.port</name>
  <value>2181</value>
  <description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
</property>

1．案例一

目標：創建Hive表，關聯HBase表，插入數據到Hive表的同時可以影響HBase表。

分步實現：

(1) 在Hive中建立表同時關聯HBase

CREATE TABLE hive_hbase_emp_table(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

 

提示：完成以後，能夠分別進入Hive和HBase查看，都生成了對應的表

(2) 在Hive中建立臨時中間表，用於load文件中的數據

提示：不能將數據直接load進Hive所關聯HBase的那張表中

CREATE TABLE emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
row format delimited fields terminated by '\t';

(3) 向Hive中間表中load數據

hive> load data local inpath '/home/admin/softwares/data/emp.txt' into table emp;

(4) 經過insert命令將中間表中的數據導入到Hive關聯HBase的那張表中

hive> insert into table hive_hbase_emp_table select * from emp;

(5) 查看Hive以及關聯的HBase表中是否已經成功的同步插入了數據

Hive：

hive> select * from hive_hbase_emp_table;

HBase：

hbase> scan ‘hbase_emp_table’

2．案例二

目標：在HBase中已經存儲了某一張表hbase_emp_table，而後在Hive中建立一個外部表來關聯HBase中的hbase_emp_table這張表，使之能夠藉助Hive來分析HBase這張表中的數據。

注：該案例2緊跟案例1的腳步，因此完成此案例前，請先完成案例1。

分步實現：

(1) 在Hive中建立外部表

CREATE EXTERNAL TABLE relevance_hbase_emp(
empno int,
ename string,
job string,
mgr int,
hiredate string,
sal double,
comm double,
deptno int)
STORED BY 
'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") 
TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

(2) 關聯後就可使用Hive函數進行一些分析操做了

hive (default)> select * from relevance_hbase_emp;