【置頂】ClickHouse MaterializeMySQL實時同步MySQL彙總

 

 

最後更新: 2020-09-19

1. 如何下載

由於 MaterializeMySQL 還處於 experimental 階段，根據社區反饋的問題、需求咱們也在進行修復和開發，請你們儘可能下載最新版進行體驗:

目前任何 master 分支的 build 均可以試用，好比選擇 20.10.1.4699 下載安裝。

2. 如何使用

CREATE DATABASE ckdb ENGINE = MaterializeMySQL('[mysql-host]:[mysql-port]', '[mysql-database]', '[mysql-user]', '[mysql-password]');

3. 更新彙總

• [x] 支持 decimal 類型 PR#14535
• [x] 支持 DATETIME(x) fractional seconds precision PR#13761
• [ ] 支持 YEAR, TIME 類型 (TODO)
• [ ] 支持 DROP TABLE database.table, table_2, ... 語法 (TODO)
• [ ] 支持 gc thread 清理已經 deleted 的數據 (TODO)
• [ ] 支持複製狀態查詢 (TODO)

 4. 遇到問題

• 提bug

• 提問題/需求

• 加入 ClickHouse 交流社羣，請在 about 添加博主後提申請

5. 問題線索採集

5.1 錯誤日誌

clickhouse-server log 錯誤日誌

5.2 執行的SQL操做

• MySQL 表結構

• MySQL 側配置

• MySQL 側執行過的 SQL

6. 老版本問題

• MaterializeMySQL Data inconsistency between MySQL and Clickhouse (已修復，請使用master最版本)
• MaterializeMySQLSyncThread: Attempt to read after eof (已修復，請使用master最版本)
• MaterializeMySQLSyncThread DB::Exception: Packet payload is not fully read (已修復，請使用master最版本)
• Cannot open file /data/clickhouse/metadata/dmp_idm//.metadata.tmp, errno: 17, strerror: File exists (已修復，請使用master最版本)

7. 相關博文

• ClickHouse和他的朋友們（9）MySQL實時複製與實現
• ClickHouse和他的朋友們（11）MySQL實時複製之GTID模式

 

全文完。

 

Enjoy ClickHouse :)