2020-10-02【學習筆記】【企業數據湖】七、基於Apache Kafka構建消息層（1）

一、數據湖背景中的消息層 1、消息層 數據湖中的消息層應該具有以下功能： 該層的一項核心功能是對源頭和終端進行解耦 能夠處理來自應用服務器節點每秒幾百MB的高速信息流 能夠處理TB甚至PB級數據 能夠低延遲、高吞吐的處理消息 能夠保證信息按照時間有序傳輸向多個消費者傳遞相同消息的能力。 能夠對運營統計數據進行分析，聚合來自不同數據源的數據並分析 藉助廉價硬件實現高性能 能夠實現最低程度的數據增加與

>>阅读原文<<