開源基於Canal的開源增量數據訂閱&消費中間件

CanalSync

canal 是阿里巴巴開源的一款基於數據庫增量日誌解析,提供增量數據訂閱&消費,目前主要支持了MySQL(也支持mariaDB)。

我開發的這個CanalSync項目 https://github.com/yuzd/CanalSync   ==>以爲不錯幫忙給個star謝謝

是基於canal-server之上的數據庫同步&消費中間件，

用於可快速搭建消費canal-server的項目。 目前我已實現並開源了以下：

1. 數據消費傳輸到redis組件
2. 數據消費傳輸到rabbitmq組件
3. 數據消費傳輸到mysql數據庫組件

示意圖

Nuget：

1. 接收canal-server的消息中間件：

Install-Package Canal.Server

2. 解析canal-server消息轉出可執行sql的中間件：

Install-Package Canal.SqlParse

如何使用

若是你須要寫一個數據消費傳輸到XXXMQ，用不到反解析成sql的話，只須要引用 Canal.Server中間件。 若是你須要寫一個數據消費傳輸到XXXdb，得用到反解析sql中間件，須要同時引用Canal.Server 和 Canal.SqlParse 這2箇中間件。

Canal.Server 如何使用

1. 引用 Canal.Server 並appsettings.json 配置canal-server的參數.以下圖：

參數說明： 

2. 建立一個 消費類 必需要 實現： INotificationHandler 接口，例如叫TestHandler

public class TestHandler:INotificationHandler<CanalBody>{
        public Task Handle(CanalBody notification)
        {
            //寫消費邏輯

            return Task.CompletedTask;;
        }
    }

3. 在startUp 使用並註冊 該消費類

//註冊了以後 canal-server有新的消息就會進入到TestHandler的Handle方法
      services.AddCanalService(produce => produce.RegisterSingleton<TestHandler>());

Canal.SqlParse 如何使用

目前只實現瞭解析mysql的邏輯，將來會加入sqlserver的解析邏輯!!

//註冊使用 connectionString是mysql的數據庫鏈接字符串
      services.AddMysqlParseService(connectionString);
      
      // 計劃中還未實現
      //services.AddSqlserverParseService(connectionString);

在類的構造方法可注入：

如上圖，表明將canal-server的數據直接在另外的mysql庫裏面執行，等於2個mysql數據進行互相同步。

歐洲與中國的2個mysql庫 使用上述方法進行同步的測試

結果： 同步速度在100~200qps