目前,隨着MySQL在各個行業的深刻使用,在不一樣數據系統、不一樣數據中心、不一樣業務系統之間進行數據傳輸、數據訂閱、造成數據總線等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特色、支持多種使用場景的數據傳輸中間件。git
DTLE:github
http://dtle.cloud數據庫
https://github.com/actiontech/dtle緩存
對應文檔地址:網絡
https://actiontech.github.io/dtle-docs-cn/架構
DTLE QQ羣:852990221分佈式
目前,隨着MySQL在各個行業的深刻使用,在不一樣數據系統、不一樣數據中心、不一樣業務系統之間進行數據傳輸、數據訂閱、造成數據總線等需求逐漸增多。愛可生推出的DTLE是一個針對MySQL的使用特色、支持多種使用場景的數據傳輸中間件。工具
DTLE是什麼?設計
DTLE是一個開源的數據傳輸中間件,其針對的核心場景以下: 中間件
跨數據中心的數據傳輸:DTLE能在數據中心間進行可靠數據傳輸,並提供鏈路壓縮以下降傳輸成本
雲間數據同步/遷移:DTLE能提供在公有云間架設數據同步通道,以支持數據容災等需求
數據匯聚:DTLE能將多個數據源匯聚到同一個數據源,以提供數據分析/數據轉儲的功能
數據訂閱:DTLE能將數據源的變動消息發往Kafka等消息中間件,以支持數據訂閱通知/緩存失效通知等需求
跨數據中心的雙向複製:DTLE能在數據中心間提供雙向複製通道,以配合業務實現數據雙寫
爲何要開源?
隨着MySQL在各行業的使用場景逐漸成熟,以數據傳輸爲基礎的需求逐漸增多。若要設計一款良好的數據傳輸中間件,要解決的核心問題是:如何保障質量、適配複雜場景、提供多樣功能。
在2017年10月24日,愛可生開源了MySQL分佈式中間件—DBLE。時隔一年,DBLE與社區互動良好,從社區吸納了許多設計經驗和質量反饋,已成爲一款成熟的數據庫中間件。隨着社區用戶增多,已實現了與社區用戶的共贏。
愛可生這次開源DTLE,是真誠爲社區提供MySQL生態圈裏一個可持續發展的工具,並但願與社區再次達成共贏,解決數據傳輸中間件的核心問題。
DTLE的設計特色
分佈式架構:DTLE在數據傳輸這個基本場景上,使用了成熟的分佈式任務調度架構,能夠便捷地在集羣中配置大量的數據傳輸任務,提供斷點續傳/故障轉移等分佈式系統的重要特性
靈活的網絡適配能力:DTLE可適配複雜的網絡架構,提供跨數據中心的數據通道功能和公有云間的數據通道功能
多場景適配:DTLE經過組合多個原子任務,可適配複雜的數據傳輸場景
關於開源 MySQL 數據傳輸中間件DTLE更多技術細節咱們後期會持續輸出,版本更新維護及使用問題反饋,歡迎加入DTLE(Q羣:852990221)。