通過系統日誌採集大數據

許多公司的平臺每天都會產生大量的日誌，並且一般爲流式數據，如搜索引擎的 pv 和查詢等。處理這些日誌需要特定的日誌系統，這些系統需要具有以下特徵。 構建應用系統和分析系統的橋樑，並將它們之間的關聯解耦。 支持近實時的在線分析系統和分佈式併發的離線分析系統。 具有高可擴展性，也就是說，當數據量增加時，可以通過增加結點進行水平擴展。 目前使用最廣泛的、用於系統日誌採集的海量數據採集工具有 Hadoop

>>阅读原文<<