基於Datax的數據同步可視化平臺

1、需求

DataX阿里的開源的時候並未提供任何可視化界面，咱們在使用的過程當中，須要將Json配置文件放到Datax的job路徑下，隨着業務的增長，配置文件不方便管理而且每次執行都須要修改命令，很是不方便。

2、平臺簡介

平臺主要用於數據同步、數據處理等等ETL操做。
平臺基於阿里的開源同步工具datax3.0開發。
平臺開發語言Java 8。
平臺運行環境無要求。
數據庫Mysql5.7。
Python環境建議Python2.7。
項目地址：https://github.com/WeiYe-Jing/springboot-datax

項目運行

1. 下載datax打包以後的文件或者github拉取datax代碼打包，配置環境變量。

DATAX_HOME=G:\learndemo\springboot-datax\datax\bin

2. 執行datax-web/db下面的sql文件並修改application.yml數據庫配置信息。

3. application.yml配置數據抽取日誌文件保存路徑。

etlLogDir: D:\temp\logs\datax-web\

4.打開網頁端啓動做業。

http://localhost:8080/index.html#/datax/job

5.在線配置Job。

6.選擇配置好的任務，點擊啓動任務，能夠看到實時日誌輸出。