ES+Hbase對接方案概述

方案背景

Hbase的索引方案有不少，愈來愈多的人開始選擇ES+Hbase的方案，其實該方案並無想象中那麼完美，ES併發低，同時查詢速度相對Hbase也慢不少,那爲何會選擇他呢，它的寫入比較快，若是一個寬表須要建20個索引，在數據導入時，hbase每秒導入20W，那麼ES壓力就是每秒400W，solr和hindex都不能解決該問題。

因此對併發高的業務場景，仍是使用華爲HIndex這種方案，也能夠混合使用

 

方案描述

ES+Hbase對接大體有兩種方式，須要根據當前的業務場景作相應的選擇，

方案1：

若是是對寫入數據性能要求高的業務場景，那麼一份數據先寫到Hbase,而後再寫到ES中，兩個寫入流程獨立，這樣能夠達到性能最大，目前某公安廳使用該方案，天天須要寫入數據200億，6T數據，每一個記錄建20左右的索引。

缺點：可能存在數據的不一致性。

 

方案2：

這也是目前網上比較流行的方案，使用hbase的協處理監聽數據在Hbase中的變更，實時的更新ES中的索引，

缺點是協處理器會影響Hbase的性能