Spark 下操做 HBase（1.0.0 新 API）

hbase1.0.0版本提供了一些讓人激動的功能，而且，在不犧牲穩定性的前提下，引入了新的API。雖然 1.0.0 兼容舊版本的 API，不過仍是應該儘早地來熟悉下新版API。而且瞭解下如何與當下正紅的 Spark 結合，進行數據的寫入與讀取。鑑於國內外有關 HBase 1.0.0 新 API 的資料甚少，故做此文。

本文將分兩部分介紹，第一部分講解使用 HBase 新版 API 進行 CRUD 基本操做；第二部分講解如何將 Spark 內的 RDDs 寫入 HBase 的表中，反之，HBase 中的表又是如何以 RDDs 形式加載進 Spark 內的。

爲了不版本不一致帶來沒必要要的麻煩，API 和 HBase環境都是 1.0.0 版本。HBase 爲單機模式，bread分佈式模式的使用方法相似，只須要修改的配置便可。

開發環境中使用 SBT 加載依賴項

Output the RDD to any Hadoop-supported storage system, using a Hadoop JobConf object for that storage system

這個方法須要一個 JobConf 做爲參數，相似於一個配置項，主要須要指定輸出的格式和輸出的表名。

Step 1：咱們須要先建立一個 JobConf。

讀取 HBase

 

Spark讀取HBase，咱們主要使用?提供的API將表的內容以 RDDs 的形式加載到 Spark 中。

完整的demo，能夠關注公衆號輸入hbase獲取。

---

文章來源：https://blog.csdn.net/rlnLo2pNEfx9c/article/details/80997723