Hive數據導入Hbase

方案一：Hive關聯HBase表方式

適用場景：數據量不大4T如下（走hbase的api導入數據）

1、hbase表不存在的狀況

建立hive表hive_hbase_table映射hbase表hbase_table，會自動建立hbase表hbase_table，且會隨着hive表刪除而刪除，這裏須要指定hive的schema到hbase schema的映射關係：

一、建表

CREATE TABLE hive_hbase_table(key int, name String,age String) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") 
TBLPROPERTIES ("hbase.table.name" = "hbase_table", 
"hbase.mapred.output.outputtable" = "hbase_table");

二、建立一張原始的hive表，準備一些數據

create table hive_data (key int,name String,age string);
insert into hive_data values(1,"za","13");
insert into hive_data values(2,"ff","44");

三、把hive原表hive_data的數據，經過hive表hive_hbase_table導入到hbase的表hbase_table中

insert into table hive_hbase_table select * from hive_data;

四、查看hbase表hbase_table中是否有數據

2、hbase表存在的狀況

建立hive的外表關聯hbase表,注意hive schema到hbase schema的映射關係。刪除外表不會刪除對應hbase表

CREATE EXTERNAL TABLE hive_hbase_external_table(key String, name string,sex String,age String,department String) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:name,info:sex,info:age,info:department") 
TBLPROPERTIES ("hbase.table.name" = "filtertest", 
"hbase.mapred.output.outputtable" = "filtertest");

其餘步驟與上面相同

方案二：HIve表生成hfile，經過bulkload導入到hbase

一、適用場景：數據量大（4T以上）

二、把hive數據轉換爲hfile

三、啓動hive並添加相關的hbase的jar包

add jar /mnt/hive/lib/hive-hbase-handler-2.1.1.jar;
add jar /mnt/hive/lib/hbase-common-1.1.1.jar;
add jar /mnt/hive/lib/hbase-client-1.1.1.jar;
add jar /mnt/hive/lib/hbase-protocol-1.1.1.jar;
add jar /mnt/hive/lib/hbase-server-1.1.1.jar;

四、建立一個outputformat爲HiveHFileOutputFormat的hive表

     其中/tmp/hbase_table_hfile/cf_0是hfile保存到hdfs的路徑，cf_0是hbase family的名字

create table hbase_hfile_table(key int, name string,age String) 
stored as
INPUTFORMAT 'org.apache.hadoop.mapred.TextInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.hbase.HiveHFileOutputFormat'
TBLPROPERTIES ('hfile.family.path' = '/tmp/hbase_table_hfile/cf_0');

五、原始數據表的數據經過hbase_hfile_table表保存爲hfile

insert into table hbase_hfile_table select * from hive_data;

六、查看對應hdfs路徑是否生成了hfile

 

七、經過bulkload將數據導入到hbase表中

建表：使用hbase客戶端建立具備上面對應family的hbase表

create 'hbase_hfile_load_table','cf_0'

下載hbase客戶端,配置hbase-site.xml，並將hdfs-site.xml、core-site.xml拷貝到hbase/conf目錄

導入：

 hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles \
 hdfs://master:9000/tmp/hbase_table_hfile/  hbase_hfile_load_table

 八、查看