OLAP和OLTP

前言

在技術角度看解決大數據場景下的高效數據篩選，統計和分析，在數萬數據中，任意組合查詢條件，篩選須要的數據，作到毫秒返回。

業務特色：

• 數據須要支持各類組合，要求低延遲。
• 數據規模大，億級別數據，須要支持迭代擴展。

OLTP 和 OLAP

數據庫適合OLTP，列式數據庫適合OLAP。

用數據庫搞OLAP遇到以下問題：

• 數據量膨脹後，查詢和寫入性能明顯降低，通常採用分庫分表方式應對。
• 數據量膨脹後，很難知足運營多角度查詢的需求，非索引查詢可能形成全表掃描，性能降低明顯。

行式存儲 和 列式存儲

行式數據庫適合近線分析，好比查詢表中某幾條符合條件的記錄的全部字段場景。 列式數據庫適合作數據統計，好比用戶表可能存在幾十個字段，可是在統計需求上只須要其中幾個字段，若是式行式則須要全表掃描，比較出名的式HBase。

HBase的使用核心式對於RowKey的設計，通常把經常使用的篩選條件組合設計到rowKey中，經過rowKey的get和scan獲取單條和多條查詢。