玩兒透ELK體系大型日誌分析集羣方案設計.搭建.調優.管理

實時日誌分析做爲掌握業務狀況、故障分析排查的一個重要手段，目前使用最多最成熟的莫過於ELK方案，總體方案也有各類架構組合，像(Rsyslog/filebeat/...)->Elastic->Kibana、(Rsyslog/filebeat/...)->Redis->Logstash->Elastic->Kibana、(Rsyslog/filebeat/...)->Kafka->Logstash->Elastic->Kibana等等，複雜點的有Spark的引用，再複雜點的引入Hadoop系列。每種方案適合不一樣的應用場景，沒有優劣之分，我目前用的是Rsyslog->kafka->(Logstash/Spark)->Elastic->Kibana和Rsyslog->Rsyslog中繼->Kafka->(Logstash/spark)->Elastic->Kibana方案，中間使用Spark對日誌進行再次聚合。

從總體架構進行抽象總結，其實就是採集->清洗->索引->展示四個環節，再去考慮各環節中間緩存、隊列的使用，而後每一個環節用不一樣的軟件工具來實現。下面介紹一下我目前方案集羣的搭建和配置。但願對同行有所幫助，在ELK探索過程當中多謝遠川和馮超同窗的奉獻交流，經常使用的一個架構圖以下：

 .............

瀏覽所有請點擊運維網咖社：玩兒透圍繞ELK體系大型日誌分析集羣方案設計.搭建.調優.管理