關於hbase和phoenix開源框架的使用體會

咱們的系統天天會產生60萬條的數據須要存儲，那麼問題就來了，咱們須要什麼樣的方式去存儲這些數據。

      一開始的選擇是mysql存儲，創建日庫，周庫，月庫等，可是時間久了數據愈來愈多，沒有對數據進行統一的管理，表格對來越多，工做量愈來愈大。

      採用apache的大數據存儲倉庫hbase能夠解決數據量比較大的問題。依照目前hbase存儲能力來看，咱們在hbase中存儲了1000萬的數據，hbase以鍵值對的查詢速度並無降低多少，相對來講速度仍是比較快，可是有一個比較關鍵的問題須要解決，那就是hbase只是能作爲數據存儲的倉庫，業務上須要用到這些數據進行分類展現，那麼就須要根據條件從hbase中查詢出所須要的數據，究竟怎麼才能作到按照條件查詢呢？

      有人認爲hbase能夠創建索引，根據索引去查詢hbase中的數據，咱們並無採用這種辦法。而是採用了能和hbase融合的phoenix開源框架，這個框架支持相似mysql的結構化查詢語句，具體怎麼作就不說了，能夠去查看http://phoenix.apache.org/ ，這裏我把使用的結果羅列出來。

     結果：

      phoenix能夠支持各類結構化查詢語句，而且咱們的倉庫已經存儲了1000萬的數據，可是其中有一個讓人比較頭疼的問題，在數據量達到千萬級別的時候，結構化查詢語句執行的速度比較慢，若是我根據條件查詢一條數據須要近2分鐘的時間，這對前端業務系統的性能產生了嚴重的影響，具體怎麼解決後續再談。