Kettle根據時間戳同步數據實現

1 Kettle整體步驟

更多數據實時同步方案，請參考筆者的另外一篇博文：大數據時代，數據實時同步解決方案的思考—最全的數據同步總結

因爲Kettle自身的特殊性以及在多個步驟中kettle自身處理數據庫事務的特殊性，嘗試了不少種方案，最終肯定暫使用以下方案。

一、使用此方案能夠解決kettle自己數據庫事務的缺點

二、使用此方案能夠解決支隊多個表中同時往一張總表中同步數據時，取時間戳不許的問題。

三、配置時，每一個支隊的數據匯聚時，都單獨配置一個轉換做業任務。

四、Kettle支持字段映射，轉換，以及做業定時運行等。

2 Kettle配置實現

A)清空臨時表

 

B)讀取交換時間

 

C)讀取須要交換的數據

 

D)更新到臨時表

 

E)插入更新到目標表

 

F)更新時間

 

3 Kettle配置風險

一、單次同步數據量大時，因爲須要同時更新兩次表，效率可能會比較低

二、若是採用單次限制數據記錄量，因爲Kettle自己不支持數據分頁，當數據表若是存在大量數據記錄的時間戳都相同時，可能會致使部分數據沒法同步過來。

【原文歸做者全部，歡迎轉載，可是保留版權】