阿里雲日誌服務的架構與優點

關於阿里雲日誌服務使用教程詳細內容：阿里雲日誌服務使用教程

Logtail

幫助您快速收集日誌的Agent。其特色以下所示：

基於日誌文件、無侵入式的收集日誌
只讀取文件。
日誌文件無侵入。
安全、可靠
支持文件輪轉不丟失數據。
支持本地緩存。
網絡異常重試。
方便管理
Web端操做。
可視化配置。
完善的自我保護
實時監控進程CPU、內存消耗。
限制使用上限。
前端服務器

採用LVS + Nginx構建的前端機器。其特色以下所示：

HTTP、REST協議
水平擴展
流量上漲時可快速提升處理能力。
支持增長前端機。
高吞吐、低延時
純異步處理，單個請求異常不會影響其餘請求。
內部採用專門針對日誌的Lz4壓縮，提升單機處理能力，下降網絡帶寬。
後端服務器

後端是分佈式的進程，部署在多個機器上，完成實時對Logstore數據的持久化、索引、查詢以及投遞至MaxCompute。總體後端服務的特色以下所示：

數據高安全性 :
您寫入的每條日誌，都會被保存3份。
任意磁盤損壞、機器宕機狀況下，數據自動複製修復。
穩定服務：
進程崩潰和機器宕機時，Logstore會自動遷移。
自動負載均衡，確保無單機熱點。
嚴格的Quota限制，防止單個用戶行爲異常對其餘用戶產生影響。
水平擴展：
以分區（Shard）爲單位進行水平擴展。
用戶能夠按需動態增長分區來增長吞吐量。
產品優點：
全託管服務

應用性強，5分鐘便可接入服務進行使用，Agent支持任意網絡下數據採集。
LogHub覆蓋Kafka 100%功能，提供完整監控、報警等功能數據，並支持彈性伸縮（可支持PB/Day規模），使用成本爲自建50%如下。
LogSearch/Analytics 提供快速查詢、儀表盤和報警功能，使用成本爲自建 20%如下。
0+接入方式，與雲產品 （OSS/E-MapReduce/MaxCompute/Table Store/MNS/CDN/ARMS等）、開源軟件（Storm、Spark）無縫對接。
生態豐富

LogHub 支持30+採集端，包括Logstash、Fluent等，不管是嵌入式設備，網頁，服務器，程序等都能輕鬆接入。在消費端，支持與Storm、Spark Streaming、雲監控等對接。
LogShipper 支持豐富數據格式（TextFile、SequenceFile、Parquet等），支持自定義Partition，數據能夠直接被Presto、Hive、Spark、Hadoop、E-MapReduce、MaxCompute、HybridDB等處理。
LogSearch/Analytics 查詢分析語法完整、兼容SQL9二、支持JDBC協議與Grafana對接。
實時性強

LogHub：寫入便可消費；Logtail（採集Agent）實時採集傳輸，1秒內到服務端（99.9%狀況）。
LogSearch/Analytics：寫入便可查詢分析，在多個查詢條件下1秒可查詢10億級數據，多個聚合條件下1秒可分析1億級數據。
完整API/SDK

輕鬆支持自定義管理及二次開發。
全部功能都可經過API/SDK實現，提供多種語言SDK，可輕鬆管理服務和百萬級設備。
查詢分析語法簡單便捷，兼容SQL92；接口友好、適合與生態軟件對接，提供Grafana對接方案。
更多精品課程：

阿里雲大學官網——雲生態下的創新人才工場