最好用的開源日誌分析工具

監控網絡活動既重要又繁瑣，如下這些工具可使它更容易。

監控網絡活動是一項繁瑣的工做，但有充分的理由這樣作。例如，它容許你查找和調查工做站和鏈接到網絡的設備及服務器上的可疑登陸，同時肯定管理員濫用了什麼。你還能夠跟蹤軟件安裝和數據傳輸，以實時識別潛在問題，而不是在損壞發生後才進行跟蹤。
這些日誌還有助於使你的公司遵照適用於在歐盟範圍內運營的任何實體的通用數據保護條例（GFPR）。若是你的網站在歐盟能夠瀏覽，那麼你就有遵照的該條例的資格。
日誌記錄，包括跟蹤和分析，應該是任何監控基礎設置中的一個基本過程。要從災難中恢復 SQL Server 數據庫，須要事務日誌文件。此外，經過跟蹤日誌文件，DevOps 團隊和數據庫管理員（DBA）能夠保持最佳的數據庫性能，又或者，在網絡攻擊的狀況下找到未經受權活動的證據。所以，按期監視和分析系統日誌很是重要。這是一種從新建立致使出現任何問題的事件鏈的可靠方式。
如今有不少開源日誌跟蹤器和分析工具可供使用，這使得爲活動日誌選擇合適的資源比你想象的更容易。自由和開源軟件社區提供的日誌設計適用於各類站點和操做系統。如下是五個我用過的最好的工具，它們並無特別的順序。

Graylog

Graylog 於 2011 年在德國創立，如今做爲開源工具或商業解決方案提供。它被設計成一個集中式日誌管理系統，接受來自不一樣服務器或端點的數據流，並容許你快速瀏覽或分析該信息。
Graylog 在系統管理員中有着良好的聲譽，由於它易於擴展。大多數 Web 項目都是從小規模開始的，但它們可能指數級增加。Graylog 能夠均衡後端服務網絡中的負載，天天能夠處理幾 TB 的日誌數據。
IT 管理員會發現 Graylog 的前端界面易於使用，並且功能強大。Graylog 是圍繞儀表板的概念構建的，它容許你選擇你認爲最有價值的指標或數據源，並快速查看一段時間內的趨勢。
當發生安全或性能事件時，IT 管理員但願可以儘量地根據症狀追根溯源。Graylog 的搜索功能使這變得容易。它有內置的容錯功能，可運行多線程搜索，所以你能夠同時分析多個潛在的威脅。

Nagios

Nagios 始於 1999 年，最初是由一個開發人員開發的，如今已經發展成爲管理日誌數據最可靠的開源工具之一。當前版本的 Nagios 能夠與運行 Microsoft Windows、Linux 或 Unix 的服務器集成。
它的主要產品是日誌服務器，旨在簡化數據收集並使系統管理員更容易訪問信息。Nagios 日誌服務器引擎將實時捕獲數據，並將其提供給一個強大的搜索工具。經過內置的設置嚮導，能夠輕鬆地與新端點或應用程序集成。
Nagios 最經常使用於須要監控其本地網絡安全性的組織。它能夠審覈一系列與網絡相關的事件，並幫助自動分發警報。若是知足特定條件，甚至能夠將 Nagios 配置爲運行預約義的腳本，從而容許你在人員介入以前解決問題。
做爲網絡審計的一部分，Nagios 將根據日誌數據來源的地理位置過濾日誌數據。這意味着你可使用地圖技術構建全面的儀表板，以瞭解 Web 流量是如何流動的。

Elastic Stack (ELK Stack)

Elastic Stack，一般稱爲 ELK Stack，是須要篩選大量數據並理解其日誌系統的組織中最受歡迎的開源工具之一（這也是我我的的最愛）。
它的主要產品由三個獨立的產品組成：Elasticsearch、Kibana 和 Logstash：
顧名思義， Elasticsearch 旨在幫助用戶使用多種查詢語言和類型在數據集之中找到匹配項。速度是它最大的優點。它能夠擴展成由數百個服務器節點組成的集羣，輕鬆處理 PB 級的數據。
Kibana 是一個可視化工具，與 Elasticsearch 一塊兒工做，容許用戶分析他們的數據並構建強大的報告。當你第一次在服務器集羣上安裝 Kibana 引擎時，你會看到一個顯示着統計數據、圖表甚至是動畫的界面。
ELK Stack 的最後一部分是 Logstash，它做爲一個純粹的服務端管道進入 Elasticsearch 數據庫。你能夠將 Logstash 與各類編程語言和 API 集成，這樣你的網站和移動應用程序中的信息就能夠直接提供給強大的 Elastic Stalk 搜索引擎中。
ELK Stack 的一個獨特功能是，它容許你監視構建在 WordPress 開源網站上的應用程序。與跟蹤管理日誌和 PHP 日誌的大多數開箱即用的安全審計日誌工具相比，ELK Stack 能夠篩選 Web 服務器和數據庫日誌。
糟糕的日誌跟蹤和數據庫管理是致使網站性能不佳的最多見緣由之一。沒有按期檢查、優化和清空數據庫日誌，不只會下降站點的運行速度，還可能致使其徹底崩潰。所以，ELK Stack 對於每一個 WordPress 開發人員的工具包來講都是一個優秀的工具。

LOGalyze

LOGalyze 是一個位於匈牙利的組織，它爲系統管理員和安全專家構建開源工具，以幫助他們管理服務器日誌，並將其轉換爲有用的數據點。其主要產品可供我的或商業用戶免費下載。
LOGalyze 被設計成一個巨大的管道，其中多個服務器、應用程序和網絡設備可使用簡單對象訪問協議（SOAP）方法提供信息。它提供了一個前端界面，管理員能夠登陸界面來監控數據集並開始分析數據。
在 LOGalyze 的 Web 界面中，你能夠運行動態報告，並將其導出到 Excel 文件、PDF 文件或其餘格式。這些報告能夠基於 LOGalyze 後端管理的多維統計信息。它甚至能夠跨服務器或應用程序組合數據字段，藉此來幫助你發現性能趨勢。
LOGalyze 旨在不到一個小時內完成安裝和配置。它具備預先構建的功能，容許它以法律所要求的格式收集審計數據。例如，LOGalyze 能夠很容易地運行不一樣的 HIPAA 報告，以確保你的組織遵照健康法律並保持合規性。

Fluentd

若是你所在組織的數據源位於許多不一樣的位置和環境中，那麼你的目標應該是儘量地將它們集中在一塊兒。不然，你將難以監控性能並防範安全威脅。
Fluentd 是一個強大的數據收集解決方案，它是徹底開源的。它沒有提供完整的前端界面，而是做爲一個收集層來幫助組織不一樣的管道。Fluentd 在被世界上一些最大的公司使用，可是也能夠在較小的組織中實施。
Fluentd 最大的好處是它與當今最經常使用的技術工具兼容。例如，你可使用 Fluentd 從 Web 服務器（如 Apache）、智能設備傳感器和 MongoDB 的動態記錄中收集數據。如何處理這些數據徹底取決於你。
Fluentd 基於 JSON 數據格式，它能夠與由卓越的開發人員建立的 500 多個插件一塊兒使用。這使你能夠將日誌數據擴展到其餘應用程序中，並經過最少的手工操做從中得到更好的分析。

via: https://opensource.com/article/19/4/log-analysis-tools

做者：Sam Bocetta 選題：lujun9972 譯者：MjSeven 校對：wxy

本文由 LCTT 原創編譯，Linux中國 榮譽推出