Flume到MongoDB的日誌行爲收集

需求概述 某公司須要對玩家行爲日誌進行統一收集,收集後所有存入MongoDB,同時部分寫入Kafka,對接SparkSteaming 作實時計算處理。他們使用的日誌收集框架徹底本身手動管理 效率低 須要一款能夠實現高可用 分佈式橫向擴展的日誌收集框架這時候Flume來了~ 概述 Flume是一個分佈式、可靠、和高可用的海量日誌採集、聚合和傳輸的系統。支持在日誌系統中定製各種數據發送方,用於收集數據
相關文章
相關標籤/搜索