七牛大數據平臺的實時數據分析實戰

上文回顧：七牛大數據平臺的演進

在咱們這僅僅兩三步簡單的操做之後，就能夠看到哪些十分有價值的數據呢？
實時總用戶訪問量(請求數統計)，如圖 1 所示

圖 1 實時總用戶訪問量

機器請求數隨時間變化趨勢，如圖 2 所示

圖 2 機器請求數隨時間變化趨勢

實時請求狀態碼佔比，如圖 3 所示

圖 3 實時請求狀態碼佔比

實時請求TOP排名，如圖 4 所示

圖 24 實時請求TOP排名

實時請求來源IP TOP排名，如圖 5 所示

圖 5 實時請求來源IP TOP排名

響應時間隨時間變化趨勢圖，如圖 6 所示

圖 6 響應時間隨時間變化趨勢圖

實時用戶請求的客戶端TOP排名，如圖 7 所示

圖 7 實時用戶請求的客戶端TOP排名

實時根據不一樣狀況進行具體數據的查詢，包括狀態碼、響應時間範圍進行篩選等，如圖 8 所示

圖 8 實時根據不一樣狀況進行具體數據的查詢

其餘更多自定義配置...
自定義的 Grafana DashBoard 配置示例，如圖 9 所示

圖 9 Grafana DashBoard配置示例

可見，僅僅幾步簡單的操做，你就藉助Pandora實現了海量日誌的實時監控，經過 nginx日誌 完整而詳盡的 瞭解業務的流量入口的各種狀況。

2.實時數據報警

有了實時的數據監控，怎麼能少得了報警呢，咱們還提供了包括 Slack， Email郵箱，Webhook等十來種報警方式。
好比說如圖 10 ，咱們設置了一個響應時間大於1000ms的報警

圖 30 響應時間大於1000ms報警

LogDB採用的是基於Elasticsearch協議的報警，這個基於Elasticsearch協議的Grafana報警功能是七牛獨家哦！TSDB是基於InfluDB協議，使用TSDB更是一樣具有上述功能。
那麼您能夠看到報警形式是怎麼樣的呢？

圖 11 Slack報警示意圖

看到圖 11 Slack上的報警了嗎？除了基本的文字，還會帶上酷炫的報警圖片！圖片都會被存儲到您七牛雲存儲的bucket裏面！

圖 12 郵件報警示意圖

如圖 12 所示，常規的郵件報警內容也同樣酷炫！

3.離線分析

若是你使用離線分析，那麼能夠得到的內容就更多了，只要你數據擁有的維度，就能夠統計出來，好比咱們以CDN日誌爲例。
用戶地區分佈，如圖 13 所示

圖 13 用戶地區分佈

用戶機型分佈，如圖 14 所示

圖 34 用戶機型分佈述

活躍用戶數隨時間變化趨勢，如圖 15 所示
(點擊放大圖像)

圖 15 活躍用戶數隨時間變化趨勢

各種手機圖片下載數，如圖 16 所示

圖 16 各種手機圖片下載數

不一樣時間平均下載速度，如圖 17 所示

圖 17 不一樣時間平均下載速度

不一樣時間正常響應比重，如圖 18 所示

圖 18 不一樣時間正常響應比重

查詢用戶系統分佈，如圖 19 所示

圖 19 查詢用戶系統分佈

除了上述這些，還支持更細粒度的下鑽功能，能夠全方位無死角分析你的海量數據。

4.總結

至此，本次的Pandora大數據平臺的架構演進與使用實戰算是介紹完了，可是咱們Pandora大數據產品的迭代還在不斷向前，還有大量大數據平臺建設的細節等待咱們去完善。歡迎廣大朋友聯繫交流。

---

做者介紹:孫健波，InfoQ專欄做者，碩士畢業於浙江大學計算機學院，2015年末加入七牛，參與並負責七牛大數據平臺整條鏈路多模塊的架構設計以及開發工做，包括大數據計算引擎、時序數據庫服務以及日誌檢索服務。在此以前主要研究和參與Cloudfoundry、Kubernetes、Docker等容器與容器雲相關工做，是《Docker容器與容器雲》一書的主要做者之一。