字節跳動基於Flink的MQ-Hive實時數據集成

在數據中臺建設過程中，一個典型的數據集成場景是將 MQ (Message Queue，例如 Kafka、RocketMQ 等)的數據導入到 Hive 中，以供下游數倉建設以及指標統計。由於 MQ-Hive 是數倉建設第一層，因此對數據的準確性以及實時性要求比較高。 本文主要圍繞 MQ-Hive 場景，針對目前字節跳動內已有解決方案的痛點，提出基於 Flink 的實時解決方案，並介紹新方案在字節跳動

>>阅读原文<<