HBase存儲時間相關多列數據的兩種方案

HBase存儲時間相關多列數據的兩種方案

所謂「時間相關多列數據」指的是同一個Key下具備多個屬性數據，而且這些數據與時間具備相關性，多數場景是該Key對應在不一樣時間時刻的行爲數據。在實際應用中，這類數據不少，例如電子商務網站上用戶最近一段時間瀏覽的寶貝集合、訪問的URL列表等。

使用HBase存儲此類數據時，有如下兩種經常使用的方案：

多行單列

表結構設計

Row Key：用戶標識ID + (Long.MAX_VALUE - timestamp)

Column Family：’cf’

Column Qualifier：’’

Value：寶貝、URL等

其中，使用(Long.MAX_VALUE – timestamp)做爲Row Key的後半部分是爲了便於獲取最近插入的數據，一個用戶標識ID下的數據存儲在多個Row Key下，每一個Row Key下僅有一個Column Qualifier，表示該用戶的一次時間相關的訪問數據（訪問寶貝、URL等）。

查詢方式

1）查詢某個特定timestamp下的記錄，則使用用戶標識ID + (Long.MAX_VALUE - timestamp)進行Get查找；

2）查詢某個用戶標識ID下全部的記錄，則經過Scan.setStartRow(uid)和Scan.setStopRow(uid+1)進行Scan查找；

3）查詢某個用戶標識ID下最近時間內的N條記錄，則經過Scan.setStartRow(uid)和Scan.setStopRow(uid+1)進行Scan查找，可是爲了只獲取N條記錄，能夠設置Scan.setCaching(N)優化查詢，同時作一次ResultScanner.next(N)獲得結果。

單行多列

表結構設計

Row Key：用戶標識ID

Column Family：’cf’

Column Qualifier：(Long.MAX_VALUE - timestamp)

Value：寶貝、URL等

其中，使用(Long.MAX_VALUE – timestamp)做爲Column Qualifier是爲了便於獲取最近插入的數據，一個用戶標識ID下的數據存儲在一個Row Key下，每一個Row Key下會有多個Column Qualifier，表示該用戶的全部時間相關的訪問數據（訪問寶貝、URL等）。

查詢方式

1）查詢某個特定timestamp下的記錄，則使用用戶標識ID進行Get查找，同時經過Get.addColumn(‘cf’, (Long.MAX_VALUE – timestamp))方法限定要查詢的Column Qualifier；

2）查詢某個用戶標識ID下全部的記錄，則直接使用用戶標識ID進行Get查找，經過Get.addFamily(‘cf’)方法添加整個Column Family；

3）查詢某個用戶標識ID下最近時間內的N條記錄，則直接使用用戶標識ID進行Get查找，經過Get.addFamily(‘cf’)方法添加整個Column Family，經過ColumnCountGetFilter(int N)限制最多要查詢返回N條記錄。

總結

兩種方式都能知足以上基本的查詢需求，但因爲目前HBase在單行多列的場景下，讀寫性能都有必定的衰減（具體狀況請關注博客，後續會對這塊給出詳細的性能測試），所以，我的建議採起第一種方案，若是肯定Column Qualifier個數不多（例如2~10個），或者有其餘特殊需求的話，也可採起第二種方案。