牛x！一個比傳統數據庫快 100-1000 倍的數據庫!

1、ClickHouse 是什麼？

ClickHouse：是一個用於聯機分析(OLAP)的列式數據庫管理系統(DBMS)

咱們首先理清一些基礎概念

• OLTP：是傳統的關係型數據庫，主要操做增刪改查，強調事務一致性，好比銀行系統、電商系統
• OLAP：是倉庫型數據庫，主要是讀取數據，作複雜數據分析，側重技術決策支持，提供直觀簡單的結果

接着咱們用圖示，來理解一下列式數據庫和行式數據庫區別:

在傳統的行式數據庫系統中（MySQL、Postgres和MS SQL Server），數據按以下順序存儲：

在列式數據庫系統中（ClickHouse），數據按以下的順序存儲：

二者在存儲方式上對比：

以上是ClickHouse基本介紹，更多能夠查閱官方手冊

2、業務問題

業務端現有存儲在Mysql中，5000萬數據量的大表及兩個輔表，單次聯表查詢開銷在3min+，執行效率極低。通過索引優化、水平分表、邏輯優化，成效較低，所以決定藉助ClickHouse來解決此問題。

最終經過優化，查詢時間下降至1s內，查詢效率提高200倍！

但願經過本文，能夠幫助你們快速掌握這一利器，並能在實踐中少走彎路。

3、ClickHouse實踐

1.Mac下的Clickhouse安裝

我是經過docker安裝，也能夠下載CK編譯安裝，相對麻煩一些。

2.數據遷移：從Mysql到ClickHouse

ClickHouse支持Mysql大多數語法，遷移成本低，目前有五種遷移方案：

• create table engin mysql，映射方案數據仍是在Mysql
• insert into select from，先建表，在導入
• create table as select from，建表同時導入
• csv離線導入
• streamsets

選擇第三種方案作數據遷移：

CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')

3.性能測試對比

4.數據同步方案

臨時表

圖片來源：攜程新建temp中間表，將Mysql數據全量同步到ClickHouse內temp表，再替換原ClickHouse中的表，適用數據量適度，增量和變量頻繁的場景

synch

開源的同步軟件推薦：synch,原理是經過Mysql的binlog日誌，獲取sql語句，再經過消息隊列消費task

5.ClickHouse爲何快？

• 只須要讀取要計算的列數據，而非行式的整行數據讀取，下降IO cost
• 同列同類型，有十倍壓縮提高，進一步下降IO
• clickhouse根據不一樣存儲場景，作個性化搜索算法

4、遇到的坑

1.ClickHouse與mysql數據類型差別性

用Mysql的語句查詢，發現報錯：

解決方案：LEFT JOIN B b ON toUInt32(h.id) = toUInt32(ec.post_id)，中轉一下，統一無符號類型關聯

2.刪除或更新是異步執行，只保證最終一致性

查詢CK手冊發現，即使對數據一致性支持最好的Mergetree，也只是保證最終一致性：

若是對數據一致性要求較高，推薦你們作全量同步來解決

5、總結

經過ClickHouse實踐，完美的解決了Mysql查詢瓶頸，20億行如下數據量級查詢，90%均可以在1s內給到結果，隨着數據量增長，ClickHouse一樣也支持集羣，你們若是感興趣，能夠積極嘗試 : )

做者：起個帥的名

連接：https://juejin.im/post/686328...