【HBase】Hive1.2.1 和 Hbase1.0.1.1整合

Hive1.2.1 和 Hbase1.0.1.1整合

1、Hive和Hbase安裝

2、原理

摘錄於《Hbase企業應用開發實戰》

Hive在0.6.0版本已經引入了Hive和Hbase的整合實現-hive-hbase-handler-0.6.0.jar.該實現是基於Hive Storage Hanlers。實現的動機是經過模塊和擴展的方式使得Hive可以訪問和管理其餘系統的數據。不光可以訪問Hbase。也能夠整合其餘的如HyperTable、MongoDB、Cassandra、Google Spreadsheets等等

/**
 * HiveStorageHandler defines a pluggable interface for adding
 * new storage handlers to Hive.  A storage handler consists of
 * a bundle of the following:
 *
 *<ul>
 *<li>input format
 *<li>output format
 *<li>serde
 *<li>metadata hooks for keeping an external catalog in sync
 * with Hive's metastore
 *<li>rules for setting up the configuration properties on
 * map/reduce jobs which access tables stored by this handler
 *</ul>
 *
 * Storage handler classes are plugged in using the STORED BY 'classname'
 * clause in CREATE TABLE.
 */
public interface HiveStorageHandler extends Configurable {
/**
   * @return Class providing an implementation of {@link InputFormat}
   */
  public Class<? extends InputFormat> getInputFormatClass();

  /**
   * @return Class providing an implementation of {@link OutputFormat}
   */
  public Class<? extends OutputFormat> getOutputFormatClass();

  /**
   * @return Class providing an implementation of {@link SerDe}
   */
  public Class<? extends SerDe> getSerDeClass();





}

Hive中的表有內部表和外部表之分。

名稱	功能描述
內部表	經過hive元數據存儲管理，並hive負責數據存儲表
外部表	經過外部目錄管理，hive不負責數據存儲

Hive Storage Handlers引入了本地表和非本地表

名稱	功能描述
本地表	不經過HiveStorageHandlers管理表
非本地表	必須經過HiveStorageHandlers管理表

3、

hive-hbase-handler-1.2.1.jar 默認支持的hbase版本是

<hbase.hadoop2.version>0.98.9-hadoop2</hbase.hadoop2.version>

 

須要從新編譯

[root@hftclclw0001 opt]# wget http://www.carfab.com/apachesoftware/hive/hive-1.2.1/apache-hive-1.2.1-src.tar.gz

[root@hftclclw0001 opt]# tar -zxvf apache-hive-1.2.1-src.tar.gz

[root@hftclclw0001 opt]# cd apache-hive-1.2.1-src

[root@hftclclw0001 apache-hive-1.2.1-src]# mvn clean package -DskipTests -Phadoop-2 -Dhbase.hadoop2.version=1.0.1.1

[root@hftclclw0001 apache-hive-1.2.1-src]# cd hbase-handler/target

[root@hftclclw0001 target]# ll
total 236
drwx------ 2 root root   4096 Jun  8 03:05 antrun
drwx------ 4 root root   4096 Jun  8 03:05 classes
drwx------ 3 root root   4096 Jun  8 03:05 generated-sources
drwx------ 3 root root   4096 Jun  8 03:05 generated-test-sources
-rw------- 1 root root 115950 Jun  8 03:05 hive-hbase-handler-1.2.1.jar
-rw------- 1 root root  83567 Jun  8 03:05 hive-hbase-handler-1.2.1-tests.jar
drwx------ 2 root root   4096 Jun  8 03:05 maven-archiver
drwx------ 3 root root   4096 Jun  8 03:05 maven-shared-archive-resources
drwx------ 4 root root   4096 Jun  8 03:05 test-classes
drwx------ 3 root root   4096 Jun  8 03:05 tmp
drwx------ 2 root root   4096 Jun  8 03:05 warehouse

複製 hive-hbase-handler-1.2.1.jar 替換hive_home 下lib裏面的jar

啓動hive