開源MySQL數據傳輸中間件—DTLE

目前,隨着MySQL在各個行業的深刻使用,在不一樣數據系統、不一樣數據中心、不一樣業務系統之間進行數據傳輸、數據訂閱、造成數據總線等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特色、支持多種使用場景的數據傳輸中間件。git

 

DTLE:github

http://dtle.cloud數據庫

https://github.com/actiontech/dtle緩存

對應文檔地址:網絡

https://actiontech.github.io/dtle-docs-cn/架構

DTLE QQ羣:852990221分佈式

 

目前,隨着MySQL在各個行業的深刻使用,在不一樣數據系統、不一樣數據中心、不一樣業務系統之間進行數據傳輸、數據訂閱、造成數據總線等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特色、支持多種使用場景的數據傳輸中間件。工具

 

DTLE是什麼?設計

 

DTLE是一個開源的數據傳輸中間件,其針對的核心場景以下: 中間件

 

  • 跨數據中心的數據傳輸:DTLE能在數據中心間進行可靠數據傳輸,並提供鏈路壓縮以下降傳輸成本

  • 雲間數據同步/遷移:DTLE能提供在公有云間架設數據同步通道,以支持數據容災等需求

  • 數據匯聚:DTLE能將多個數據源匯聚到同一個數據源,以提供數據分析/數據轉儲的功能

  • 數據訂閱:DTLE能將數據源的變動消息發往Kafka等消息中間件,以支持數據訂閱通知/緩存失效通知等需求

  • 跨數據中心的雙向複製:DTLE能在數據中心間提供雙向複製通道,以配合業務實現數據雙寫

 

爲何要開源?

 

隨着MySQL在各行業的使用場景逐漸成熟,以數據傳輸爲基礎的需求逐漸增多。若要設計一款良好的數據傳輸中間件,要解決的核心問題是:如何保障質量、適配複雜場景、提供多樣功能。

 

在2017年10月24日,愛可生開源了MySQL分佈式中間件—DBLE。時隔一年,DBLE與社區互動良好,從社區吸納了許多設計經驗和質量反饋,已成爲一款成熟的數據庫中間件。隨着社區用戶增多,已實現了與社區用戶的共贏。

 

愛可生這次開源DTLE,是真誠爲社區提供MySQL生態圈裏一個可持續發展的工具,並但願與社區再次達成共贏,解決數據傳輸中間件的核心問題。

 

DTLE的設計特色

 

  • 分佈式架構:DTLE在數據傳輸這個基本場景上,使用了成熟的分佈式任務調度架構,能夠便捷地在集羣中配置大量的數據傳輸任務,提供斷點續傳/故障轉移等分佈式系統的重要特性

  • 靈活的網絡適配能力:DTLE可適配複雜的網絡架構,提供跨數據中心的數據通道功能和公有云間的數據通道功能

  • 多場景適配:DTLE經過組合多個原子任務,可適配複雜的數據傳輸場景

 

關於開源 MySQL 數據傳輸中間件DTLE更多技術細節咱們後期會持續輸出,版本更新維護及使用問題反饋,歡迎加入DTLE(Q羣:852990221)。

相關文章
相關標籤/搜索