linux 安裝 dataX3.0

linux 安裝 dataX3.0

github  地址：https://github.com/alibaba/DataX

解壓文件
tar -zxvf datax.tar.gz

cd /usr/local/datax/bin

python datax.py  /usr/local/data/job/job.json

{
  "job": {
    "setting": {
      "speed": {
        "channel": 1
      }
    },
    "content": [{
      "reader": {
        "name": "mysqlreader",
        "parameter": {
          "username": "****",
          "password": "****",
          "connection": [{
            "querySql": [
              "select id from pos_store limit 0,10"
            ],
            "jdbcUrl": [
              "jdbc:mysql://*****/***?allowMultiQueries=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false"
            ]
          }]
        }
      },
      "writer": {
        "name": "mysqlwriter",
        "parameter": {
          "writeMode": "insert",
          "username": "***",
          "password": "***",
          "dateFormat": "YYYY-MM-dd hh:mm:ss",
          "column": [
            "Id"
          ],
          "session": [
            "set session sql_mode='ANSI'"
          ],
          "preSql": [
            "delete from pos_store"
          ],
          "connection": [{
            "jdbc:mysql://****/mySchame?allowMultiQueries=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false"
            "table": [
              "pos_store"
            ]
          }]
        }
      }
    }]
  }
}

 

 

1.調度

　　　　任務不多，情景簡單的狀況下，使用Linux自帶的corntab便可，固然，正常的時候推薦使用調度平臺

　　　　這裏推薦airflow（其餘相關的azkaban、oozie等調度不展開）