生產環境中的flume海量數據傳輸性能優化

上一篇文章，記flume部署過程中遇到的問題以及解決方法，記錄了flume在運行過程中遇到的問題的解決方法，本文將記錄在項目調試過程中對flume性能的優化。 再放上項目的拓撲結構圖： 實際生產環境中，agent層的機器大約有50臺，在高峯時期生成的日誌量大約在5000條/s, 每天總共生成的日誌量大約在8T左右, collector的機器有8臺，所以對該系統的傳輸效率有很高的要求。 在測試中，發

>>阅读原文<<