Go 大數據生態迎來重要產品 CDS

項目地址：https://github.com/tal-tech/cds

ClickHouse是一個用於聯機分析(OLAP)的列式數據庫管理系統(DBMS)。它有着優異的性能，能夠快速部署和運行。
不過要想使用ClickHouse搭建起數倉用於數據分析，一個重要的問題就是數據如何進入ClickHouse？
咱們但願數據源的變化可以自動實時地被同步到ClickHouse，並且支持方便的動態的添加新的數據源(新的數據庫，表)，
可以自動的生成對應數據源的schema。

go-zero 團隊使用go語言圍繞ClickHouse開發了一些方便的組件與服務。

咱們獲得了下面這樣的數據同步設計

該數據同步系統大體由如下三部分組成

1. DM 全量同步服務 github.com/tal-tech/cds/dm
2. RTU 實時增量同步服務 github.com/tal-tech/cds/rtu
3. Galaxy 網頁控制檯服務 github.com/tal-tech/cds/galaxy

流程以下：

• 用戶能夠在網頁控制檯添加數據源，自動生成DDL，添加同步任務，該任務會被髮送到etcd。
• dm會收到全量同步的通知，執行歷史數據的全量同步工做。
• 以後網頁控制檯服務會指定connector開啓數據庫log監聽工做，數據會進入kafka。
• 監聽etcd集羣的RTU實時增量同步服務服務會發現有新的任務，RTU自動領取任務，到kafka消費數據並同步至ClickHouse。

上述服務的開發使用了go語言。藉助於go-zero中的工具包，如goctl等，
咱們快速實現了它。它還加入了支持自適應mongoDB結構變化，支持數據分表等。

咱們相信這是go語言與ClickHouse探索大數據的一個不錯的起點，咱們但願有更多的人可以參與進來。

CDS項目地址：https://github.com/tal-tech/cds

go-zero項目地址：https://github.com/tal-tech/go-zero

歡迎你們 star 並加入微信社區 🤝

項目地址：
https://github.com/tal-tech/go-zero