OLAP和OLTP

前言

在技術角度看解決大數據場景下的高效數據篩選,統計和分析,在數萬數據中,任意組合查詢條件,篩選須要的數據,作到毫秒返回。數據庫

業務特色:性能

  • 數據須要支持各類組合,要求低延遲。
  • 數據規模大,億級別數據,須要支持迭代擴展。

OLTP 和 OLAP

數據庫適合OLTP,列式數據庫適合OLAP。大數據

用數據庫搞OLAP遇到以下問題:設計

  • 數據量膨脹後,查詢和寫入性能明顯降低,通常採用分庫分表方式應對。
  • 數據量膨脹後,很難知足運營多角度查詢的需求,非索引查詢可能形成全表掃描,性能降低明顯。

行式存儲 和 列式存儲

行式數據庫適合近線分析,好比查詢表中某幾條符合條件的記錄的全部字段場景。 列式數據庫適合作數據統計,好比用戶表可能存在幾十個字段,可是在統計需求上只須要其中幾個字段,若是式行式則須要全表掃描,比較出名的式HBase。blog

HBase的使用核心式對於RowKey的設計,通常把經常使用的篩選條件組合設計到rowKey中,經過rowKey的get和scan獲取單條和多條查詢。索引

相關文章
相關標籤/搜索