flume斷點續傳(概念+代碼開發)

並沒有完整解決，依靠flume來緩解集羣的貸款壓力實現部分實時 ​ 使用Flume做日誌收集，flume+kafka做日誌收集存儲，後面接es存歷史日誌，storm用於實時分析。對於歷史日誌來說，儘可能做到不丟不重，實際經驗內網環境kafka還是很穩定可靠的，丟日誌主要發生在flume重啓，所以針對flume進行改造，實現斷點續傳。主要環境及配置，jdk7，flume1.6版本，agent使用內存

>>阅读原文<<