datax同步MySQL數據到mongodb

根據生產須要，同步非實時數據到mongodb。通過同事間的不斷研究，特弄出了這樣一套方案：MySQL（RDS）------> Datax------>mongodb。
咱們的mysql用的是阿里雲的rds,datax也是阿里用的很是多的，安裝部署較爲簡單。
datax部署：
下載地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
下載後解壓至本地某個目錄，進入bin目錄，便可運行同步做業：
cd {YOUR_DATAX_HOME}/bin
python datax.py {YOUR_JOB.json}
monogdb部署：
添加yum源：cd /etc/yum.repos.d
cat > mongodb-org-4.0.repo << EOF
[mongodb-org]
name=MongoDB Repository
baseurl=http://mirrors.aliyun.com/mongodb/yum/redhat/7Server/mongodb-org/4.0/x86_64/
gpgcheck=0
enabled=1
EOF
安裝以前先更新全部包 ：yum update
接下來開始安裝：yum -y install mongodb-org
安裝完成後根據本身的需求更改配置文件：/etc/mongod.conf
最後啓動：systemctl start mongodb

接下來就是重中之重了，配置datax
進入datax的目錄，進入bin文件,編輯json文件，具體配置文件參考：https://github.com/alibaba/DataX/blob/master/userGuid.md
最後執行命令啓動datax:
cd {YOUR_DATAX_DIR_BIN}
python datax.py ./stream2stream.json

注：生產環境能夠使用shell腳本定時更改json文件以實現天天備份數據，因爲個人mysql表和mongodb表都是以時間戳命名的，因此我只須要動態更改json文件裏面的時間戳就能夠了。

配合定時任務就能夠實現天天修改配置文件了