使用 Binlog 和 Canal 從 MySQL 抽取數據

數據抽取是 ETL 流程的第一步。我們會將數據從 RDBMS 或日誌服務器等外部系統抽取至數據倉庫，進行清洗、轉換、聚合等操作。在現代網站技術棧中，MySQL 是最常見的數據庫管理系統，我們會從多個不同的 MySQL 實例中抽取數據，存入一箇中心節點，或直接進入 Hive。市面上已有多種成熟的、基於 SQL 查詢的抽取軟件，如著名的開源項目 Apache Sqoop，然而這些工具並不支持實時的數據

>>阅读原文<<