字節跳動基於Flink的MQ-Hive實時數據集成

在數據中臺建設過程中,一個典型的數據集成場景是將 MQ (Message Queue,例如 Kafka、RocketMQ 等)的數據導入到 Hive 中,以供下游數倉建設以及指標統計。由於 MQ-Hive 是數倉建設第一層,因此對數據的準確性以及實時性要求比較高。 本文主要圍繞 MQ-Hive 場景,針對目前字節跳動內已有解決方案的痛點,提出基於 Flink 的實時解決方案,並介紹新方案在字節跳動
相關文章
相關標籤/搜索