日誌實時分析架構

在上家公司工做時，設計的日誌收集與實時分析架構，仍是比較簡單的:

flume-ng + rocketmq + storm + redis + 前端展現

消息隊列部分，咱們剛開始採用的是kafka，但 kafka在支持回溯消費和重複消費方面比較弱，同時在數據安全方面也相對弱一些，後來咱們改成阿里的rocketmq。

考慮到咱們的數據量也不是很大，已經可以足夠支撐，但在rocketmq這層，有時會由於網絡異常問題，會產生消息堆積，致使消息隊列被衝爆，穩定性還不是很是高，後來諮詢了其餘部門的同事，他們的作法是，在消息隊列這一層次，額外增長了一層mongodb，消息隊列這層僅保留消息的索引信息，消息的實體信息保存在mongodb中，能夠很好地迴避此問題，後來因爲各類緣由就沒有再去嘗試此方法......

其餘一些經常使用方案：

logstash + elasticsearch + kibana

fluentd + influxdb + grafana

flume-ng + kafka + storm

kafka + spark streaming + redis