阿里UC百億PV的前端監控平臺:（3）日誌存儲

時間 2019-11-05

標籤阿里百億前端監控平臺日誌存儲欄目阿里巴巴简体版

原文原文鏈接

本文首發於知乎《阿里UC百億級PV的前端監控平臺實踐》，搬運轉載請註明出處，不然追究版權責任。javascript

阿里UC百億PV的嶽鷹全景監控平臺實踐系列文章：html

前言

Web承載的業務愈來愈複雜，用戶對於Web的體驗要求也愈來愈高，Web性能的優劣對業務收益也有着很是直接的影響。前端

本文主要介紹阿里UC百億級PV前端監控平臺，嶽鷹全景監控平臺的實踐歷程 - 日誌存儲，閱讀時長 5 分鐘。java

日誌採集上報到服務器，接下來須要在服務端清洗存儲，用於後續問題的查詢分析。git

對於小應用，可能用數據庫單庫單表加索引優化就足夠了。而一個成規模甚至大流量的應用，須要建設更穩定、高效的日誌監控服務，就得在日誌存儲架構上下一些功夫。github

目前業界有很多比較完備的日誌存儲方案，主要有Hbase系和Lucene系，應用在監控領域比較有表明性的有時序數據庫 OpenTSDB 和全文檢索搜索引擎 Elasticsearch 。web

在數據存儲階段，核心的使用場景在於不一樣數據維度的靈活查詢，逐層分析對比各個維度的數據快速定位到問題，而這剛好能夠利用elasticsearch的檢索特性，所以咱們選擇使用elasticsearch做爲主要的存儲方案。數據庫

即便對於一個最小集合的elasticsearch集羣，也能夠比較 輕鬆實現天天千萬級別 的日誌量的存儲和查詢。小程序

而在天天上億甚至幾十億日誌的場景下，日誌存儲系統就須要經過一些架構設計來解決數據量大，數據結構不規律，寫入併發高，查詢統計需求大等特性帶來的問題。微信小程序

在咱們的實踐場景下，經過利用批量寫入、寫入緩衝、表設計（按照時間/業務擴展）等索引設計和優化，能夠實現 天天100億級別的日誌存儲秒級查詢，而且隨時經過橫向擴展實現擴容。具體方案業界上也比較成熟，這裏就再也不作更多討論，有興趣的筒子能夠私我討論。

阿里UC出品的嶽鷹全景監控平臺，支持移動H五、PC站點、微信小程序以及支付寶小程序等各家小程序，PV、JS異常、頁面性能等監控指標完整，已經對外開放，歡迎免費體驗試用。

技術交流、第一時間掌握產品動態，歡迎聯繫微信小助手～

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。