使用Kettle實現數據實時增量同步

0. 前言 本文介紹了使用Kettle對一張業務表數據（500萬條數據以上）進行實時（10秒）同步，採用了時間戳增量回滾同步的方法。關於ETL和Kettle的入門知識大家可以閱讀相關的blog和文檔學習。 1. 時間戳增量回滾同步 假定在源數據表中有一個字段會記錄數據的新增或修改時間，可以通過它對數據在時間維度上進行排序。通過中間表記錄每次更新的時間戳，在下一個同步週期時，通過這個時間戳同步該時間

>>阅读原文<<