基於Flink的日誌採集

目前基於ELK架構的日誌系統，通過filebeat收集上來的日誌都會發送到同一個kafka topic中，然後再由Logstash消費處理寫入Elasticsearch中，這種方式導致該topic包含所有業務日誌，那麼各個業務去做實時統計分析就會造成重複消費，使得流量成本的浪費；對於離線分析的日誌來源是通過在應用服務端定時上傳的方式，對於日誌量比較大的業務，一方面上傳時會對應用服務器造成比較大的壓

>>阅读原文<<