DataX 數據全量,增量同步方案

關於DataX 增量更新實現 注:參考來源文章 增量更新總體思路:從目標數據庫讀取一個最大值的記錄,可以是DataTime 或者 RowVersion 類型,然後根據這個最大值對源數據庫要同步的表進行過濾,然後再進行同步即可。 由於DataX 支持多種數據庫的讀寫,一種相對簡單並且可靠的思路就是: 從csv 文件讀取目標數據庫上次抽取數據的一個最大值; 動態修改json配置文件(增加過濾條件);
相關文章
相關標籤/搜索