Spark訪問與HBase關聯的Hive表

知識點1：建立關聯Hbase的Hive表

知識點2：Spark訪問Hive

知識點3：Spark訪問與Hbase關聯的Hive表

 

知識點1：建立關聯Hbase的Hive表

兩種方式建立，內部表和外部表

內部表，若是刪除hive表，hbase表也會刪除；不建議使用這種方式，大多數都是關聯進行查詢操做

外部表，若是刪除hive表，hbase表不受影響；

hive使用的仍是存儲在hbase中的數據。

這裏建立外部表。

CREATE EXTERNAL TABLE tdatafromhbase(key string, id string, info map<STRING,STRING> )
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key, cf1:id, cf2:")
TBLPROPERTIES("hbase.table.name" = "userinfo");

Hbase中的表名爲userinfo;

Hive中的表名爲tdatafromhbase,字段爲key, id, info<>;

因爲在使用hbase的時候列名會不少且未知，這裏使用了map數據類型存儲列族cf2的內容。針對已知的列名能夠直接指定，這裏id就是列族cf1的字段id；

 

知識點2：spark訪問hive

import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by Edward on 2017/9/19.
  */
object HiveSql {
  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("sql-hive")
    val sc =new SparkContext(conf)

    val hiveContext = new HiveContext(sc)

    hiveContext.sql("select key, id, info from tdatafromhbase").collect().foreach(println)

    sc.stop()

  }
}

 

知識點3：Spark訪問與Hbase關聯的Hive表

直接調用hive沒什麼差異，須要注意的就是，須要引用jar包，否則會報錯

2017-10-03 01:55:36,817 ERROR [main] hive.log: error in initSerDe: java.lang.ClassNotFoundException Class org.apache.hadoop.hive.hbase.HBaseSerDe not found
java.lang.ClassNotFoundException: Class org.apache.hadoop.hive.hbase.HBaseSerDe not found

在spark-submit的時候添加參數，使用hive的庫hive-hbase-handler-1.1.0-cdh5.10.0.jar

--jars /home/hadoop/app/hive-1.1.0-cdh5.10.0/lib/hive-hbase-handler-1.1.0-cdh5.10.0.jar

 

應用場景，spark操做hive,固然spark也能夠直接操做hbase, 這裏使用spark經過hive訪問hbase,有點繞。

根據本身的實際需求，和性能要求進行調整。