基於canal的實時數據同步架構

技術背景 數據同步作爲數倉建設和數據分析的基礎環節，其重要性不言而喻。目前業界最常用的做法是離線按天備份，通過批處理的方式直連業務庫，將數據全量導入到數倉。這種方式簡單直接，不會擔心數據丟失等問題。然而因爲是離線操作，每一次導入都是對過去一天的數據鏡像，對於實時應用場景，無法及時同步新增數據，而且頻繁的讀取業務庫很容易對業務庫造成壓力。對於我們的特殊場景：從阿里雲跨雲同步到AWS，這種大批量的數據

>>阅读原文<<