MySQL數據 實時同步到Kafka --Binlog canal、Maxwell、Kafka Connect 實現MySQL增量同步

1、需求分析 早期業務藉助Sqoop將Mysql中的數據同步到Hive、hdfs來進行數據分析，使用過程當中也帶來了一些問題：html 雖然Sqoop支持增量同步但還屬於粗粒度的離線同步，沒法知足下游數倉實時性的需求(可能一個小時，或者一天)  每次同步Sqoop以sql的方式向Mysql發出數據請求也在必定程度上對Mysql帶來必定的壓力 同時Hive對數據更新的支持也相對較弱，因爲Hive自己

>>阅读原文<<