日誌採集之日誌採集的挑戰

目前大型互聯網企業每天日誌量以億爲單位，面臨的挑戰已經不是採集的技術本身，而是如何實現日誌數據的結構化。構建規範制定–元數據註冊–日誌採集–自動化計算–可視化展現的一體化系統 場景一：日誌分流 1）當代互聯網經常出現短時間內流量熱點爆發，集中統一的採集方案已不能滿足需求。 2）在日誌解析和處理的過程中必須考慮以下幾點： ①業務分流：要求分離的業務之間沒有明顯影響，爆發熱點不影響日常業務處理 ②日誌

>>阅读原文<<