HBase條件查詢（多條件查詢）

Author：Pirate Leo

myBlog: http://blog.csdn.net/pirateleo/

myEmail: codeevoship@gmail.com

轉載請註明出處，謝謝。

文中可能涉及到的API：

Hadoop/HDFS:http://hadoop.apache.org/common/docs/current/api/

HBase: http://hbase.apache.org/apidocs/index.html?overview-summary.html

Begin！

HBase的查詢實現只提供兩種方式：

一、按指定RowKey獲取惟一一條記錄，get方法（org.apache.hadoop.hbase.client.Get）

二、按指定的條件獲取一批記錄，scan方法（org.apache.hadoop.hbase.client.Scan）

實現條件查詢功能使用的就是scan方式，scan在使用時有如下幾點值得注意：

一、scan能夠經過setCaching與setBatch方法提升速度（以空間換時間）；

二、scan能夠經過setStartRow與setEndRow來限定範圍。範圍越小，性能越高。

經過巧妙的RowKey設計使咱們批量獲取記錄集合中的元素挨在一塊兒（應該在同一個Region下），能夠在遍歷結果時得到很好的性能。

三、scan能夠經過setFilter方法添加過濾器，這也是分頁、多條件查詢的基礎。

下面舉個形象的例子：

咱們在表中存儲的是文件信息，每一個文件有5個屬性：文件id（long，全局惟一）、建立時間（long）、文件名（String）、分類名（String）、全部者（User）。

咱們能夠輸入的查詢條件：文件建立時間區間（好比從20120901到20120914期間建立的文件），文件名（「中國好聲音」），分類（「綜藝」），全部者（「浙江衛視」）。

假設當前咱們一共有以下文件：

內容列表

ID	CreateTime	Name	Category	UserID
1	20120902	中國好聲音第1期	綜藝	1
2	20120904	中國好聲音第2期	綜藝	1
3	20120906	中國好聲音外卡賽	綜藝	1
4	20120908	中國好聲音第3期	綜藝	1
5	20120910	中國好聲音第4期	綜藝	1
6	20120912	中國好聲音選手採訪	綜藝花絮	2
7	20120914	中國好聲音第5期	綜藝	1
8	20120916	中國好聲音錄製花絮	綜藝花絮	2
9	20120918	張瑋獨家專訪	花絮	3
10	20120920	加多寶涼茶廣告	綜藝廣告	4

這裏UserID應該對應另外一張User表，暫不列出。咱們只需知道UserID的含義：

1表明 浙江衛視； 2表明 好聲音劇組； 3表明 XX微博； 4表明 贊助商。
調用查詢接口的時候將上述5個條件同時輸入find(20120901,20121001,"中國好聲音","綜藝","浙江衛視")。

此時咱們應該獲得記錄應該有第一、二、三、四、五、7條。第6條因爲不屬於「浙江衛視」應該不被選中。

咱們在設計RowKey時能夠這樣作：採用UserID + CreateTime + FileID組成rowKey，這樣既能知足多條件查詢，又能有很快的查詢速度。

須要注意如下幾點：

一、每條記錄的RowKey，每一個字段都須要填充到相同長度。假如預期咱們最多有10萬量級的用戶，則userID應該統一填充至6位，如000001，000002...

二、結尾添加全局惟一的FileID的用意也是使每一個文件對應的記錄全局惟一。避免當UserID與CreateTime相同時的兩個不一樣文件記錄相互覆蓋。

按照這種RowKey存儲上述文件記錄，在HBase表中是下面的結構：

rowKey（userID 6 + time 8 + fileID 6）     name    category ....

00000120120902000001

00000120120904000002

00000120120906000003

00000120120908000004

00000120120910000005

00000120120914000007

00000220120912000006

00000220120916000008

00000320120918000009

00000420120920000010

怎樣用這張表？

在創建一個scan對象後，咱們setStartRow(00000120120901)，setEndRow(00000120120914)。

這樣，scan時只掃描userID=1的數據，且時間範圍限定在這個指定的時間段內，知足了按用戶以及按時間範圍對結果的篩選。而且因爲記錄集中存儲，性能很好。

而後使用SingleColumnValueFilter（org.apache.hadoop.hbase.filter.SingleColumnValueFilter），共4個，分別約束name的上下限，與category的上下限。知足按同時按文件名以及分類名的前綴匹配。

（注意：使用SingleColumnValueFilter會影響查詢性能，在真正處理海量數據時會消耗很大的資源，且須要較長的時間。

在後續的博文中我將多舉幾種應用場景下rowKey的，能夠知足簡單條件下海量數據瞬時返回的查詢功能）

若是須要分頁還能夠再加一個PageFilter限制返回記錄的個數。

以上，咱們完成了高性能的支持多條件查詢的HBase表結構設計。

——————————————————————————

by the way：

近期有時間會寫一份Sample補充在這篇博文裏，有須要的同窗能夠持續關注。

後續的幾篇關於HBase功能實現貼也陸續寫做中。

HBase數據實現按期定量刪除功能：http://blog.csdn.net/pirateleo/article/details/7964859

HBase在處理中文字符串時的問題：http://blog.csdn.net/pirateleo/article/details/7957109

陸續補充中……