基於spark之上的即席分析-日誌分析場景

YDB 場景精選之運維日誌、 業務日誌、 交易流水日誌的搜索與分析

經過方便靈活的日誌搜索分析，幫助用戶及時發現問題

統一日誌查詢平臺，程序故障定位平臺

開發與運維人員常常須要登陸線上生產系統， 經過 grep、 tail、 more、 cat 等命令去生產系統裏查找故障緣由， 排查效率很慢。 且在生產系統運維人員因錯誤的使用調試命令致使生產系統宕機的狀況路見不鮮。

組建一個統一的日誌查詢管理平臺很是重要， 開發人員能夠像使用百度那樣在日誌平臺裏快速的檢索與分析日誌，快速定位問題。 日誌分析與生產系統分離，即保障了生產系統的安全， 也省去了登陸服務器的操做， 提升了運維的效率與質量。

一個大型的系統， 會有多種不一樣的業務子系統，這些系統的日誌散落在不一樣的機器的每一個角落。在統一日誌查詢平臺能夠跨越多個業務子系統進行日誌的關聯分析， 對業務總體進行全局分析。

交易流水搜索

物流系統，網站，運營商，證券交易所，零售商天天有大量的銷售，訪問日誌。 會有客戶投訴扣費不許確，或者帳戶資金丟失的問題，須要客服人員對這些日誌進行分析、過濾、篩選 從而追蹤真實的扣費細節，在那個環境支付出現了異常，若是帳戶被盜，資金最終流向了哪裏，儘可能減小用戶的損失。

核心功能根據關鍵詞， ID、時間等快速定位日誌

1. 系統問題定位 排查系統故障

2. 根據日誌分析，系統性能與網絡瓶頸

3. 若是用戶投訴能夠經過交易號定位用戶交易日誌，定位哪一個環節的支付出現異常

數據量太大，檢索成難題

現如日誌分析已經不是什麼新鮮事，可是數據量特別龐大，普通的傳統數據庫已經承受不了這麼大規模的日誌存儲，就更別提日誌分析了。以筆者成有幸在在騰訊工做期間，研發並設計了騰訊的Hermes 系統， Hermes 當時天天存儲的日增量爲天天 3600 多億（截止去年 16 年 10 月，爲天天 7000億），總的數據存儲量在萬億規模。