思否開源項目推介丨DataX Web：簡潔易用的離線數據同步工具

開源項目名稱：DataX Web
開源項目負責人：@WeiYe-Jing
開源項目簡介：離線數據同步工具
開源項目類型：我的開源項目
項目建立時間：2019 年 12 月
GitHub 數據：734 Star，365 Fork
地址： https://github.com/WeiYe-Jing...

項目介紹

DataX Web 是在 DataX 之上開發的分佈式數據同步工具，提供簡單易用的操做界面，下降用戶使用DataX 的學習成本，縮短任務配置時間，避免配置過程當中出錯。用戶可經過頁面選擇數據源便可建立數據同步任務，RDBMS 數據源可批量建立數據同步任務，支持實時查看數據同步進度及日誌並提供終止同步功能，集成並二次開發 xxl-job 可根據時間、自增主鍵增量同步數據。

任務「執行器」支持集羣部署，支持執行器多節點路由策略選擇，支持超時控制、失敗重試、失敗告警、任務依賴、執行器CPU，內存，負載的監控等等。後續還將提供更多的數據源支持、數據轉換UDF、表結構同步、數據同步血緣等更爲複雜的業務場景。

項目自薦

DataX 是一個異構數據源離線同步工具，致力於 RDBMS 關係型數據庫、NoSQL 數據存儲、無結構化數據存儲、時間序列數據庫等各類異構數據源之間穩定高效的數據同步功能。能夠將 DataX 的同步過程理解爲從源頭數據源讀取數據的 Reader 插件，以及向目標端寫入數據的 Writer 插件。

每一個類型的數據源都有本身的 Reader 和 Writer 插件，每一個插件的配置方式也不盡相同，所以用戶在使用一款插件前須要先了解該插件的每一個參數配置的含義，熟悉以後用戶須要手動編寫一份 JSON 文件，文件包含插件的數據源信息，同步的字段名，任務的運行參數等等，配置過程當中也容易出錯，JSON 文件也不方便管理，若是想在不一樣的機器執行還要將 JSON 文件複製到對應節點，複雜一點的業務場景例如增量同步、同步依賴沒有其它腳本的支持，DataX 難以施展拳腳。

爲了解決這些問題，DataX Web 應運而生。

開源 7 個月以來項目發版 5 次，用戶羣近 1000 人，而且一直在不斷完善與壯大開源社區，但願進一步培養以開發者爲核心的社區生態。將來項目將繼續保持快速迭代並積極與周邊生態融合，打造一款大數據領域必不可少的數據同步利器。

思否推薦

數據是信息社會的基礎，數據的存儲須要有數據庫來進行存儲，那麼數據以前的信息流動須要怎樣的媒介？

DataX 做爲異構數據源離線同步工具，支持 RDBMS 關係型數據庫、NoSQL 數據存儲、無結構化數據存儲、時間序列數據庫等多種數據庫間的數據同步。拋去繁雜容易出錯的命令行界面，DataX 還提供了簡單易用的操做界面，下降用戶學習成本，縮短任務配置時間，避免配置過程當中出錯。

---

該項目已入選「SFOSSP - 思否開源項目支持計劃」，咱們但願藉助社區的資源對開源項目進行相關的宣傳推廣，並做爲一個長期項目助力開源事業的發展，與廣大開發者共建開源新生態。

有意向的開源項目負責人或團隊成員，可經過郵箱提供相應的信息（開源項目地址、項目介紹、團隊介紹、聯繫方式等），以便提高交流的效率。

聯繫郵箱：pr@segmentfault.com