數據同步程序,利用數據庫事務機制

產生的緣由:

　　咱們天天定時會在幾點將new表數據同步到old表. 原先數據量不大.因此同步很快. 最近這兩年每次須要同步100w條以上. 單次同步須要用10多分鐘

 

處理方法:

　　數據產生的地方. 就從new表數據copy一份到old表.  這樣將數據移動的高峯給分割開了. 

　　事務機制: 若是未完成, 程序掛了,再次啓動之後須要從新同步. 若是完成了即便程序從新啓動也不會再次copy. 

 

流程圖: 

好處

　　1. 數據量分割, 因此即便數據量增加也不會有影響. 

　　2. 表配置動態化. 程序裏面不用寫死固定哪些表. 而是採用配置文件進行配置. 

 

源碼

　　https://files.cnblogs.com/files/blog-east/DataSync.rar