十分鐘構建雙十一交互分析大盤

提到雙十一不少人第一印象是一張成交金額跳動的炫酷大屏，的確大盤在阿里雙十一中幾乎是每一個團隊標配，例如：

• CEO看業務：把重要數據放到一張大屏上，簡潔而有衝擊力
• 運營看效果：把多個指標放在一塊兒，有利於綜合分析定製投放策略
• 開發看流量：服務請求延時，排隊狀況，掌握實時性能與動態
• 監控看水位：集中監控總體服務的狀態，有利於快速的作出響應

大盤方案選型

典型方案是流式計算架構：

• 數據採集：利用Agent、API、SDK等採集各源頭數據
• 中間存儲：利用類Kafka軟件進行生產系統和消費系統解耦
• 實時計算：環節中最重要環節，訂閱實時數據，經過計算規則對窗口中數據進行運算
• 結果存儲：計算結果數據存入SQL和NoSQL
• 可視化：經過API調用結果數據進行展現

在阿里集團內，有大量成熟的產品能夠完成此類工做，通常可供選型的產品以下：

對大盤進一步訴求

雖然前期作了大量準備工做，但運營、研發和運維等除了看大盤外，還會圍繞整個活動的運行作大量工做，例如：

• 運營對每一個類目的細節，下單數目，用戶量預期水平等進行大量分析，對某些用戶羣體激活和促銷
• 研發關注請求流量，用戶延時體驗，定位和分析各類緣由
• 運維分析系統的水位，查看各資源的分佈，調度資源以確保穩定性

從上述例子中能夠看到，除了數據的呈現以外，咱們須要對大盤融入「交互式分析」的能力。給你們介紹一種選擇：經過日誌服務（LOG，原SLS）一站式的查詢分析LogSearch/Analytics API 直接對接可視化大屏。
​ 
大屏的選擇可選方案有日誌服務Dashboard，Grafana，Datav等，也能夠經過API、JDBC接口對接本身的可視化大屏和第三方的軟件（例如Tableua）。日誌㐏對三種大屏提供了插件，只需在配置中直接使用SQL進行計算，並展現結果。

	交互分析	平臺支撐	實時性	定時刷新	視圖支持	適合場景
日誌服務Dashboard	️	PC	️	️	豐富	運維、運營、開發等
Grafana		PC​	️		通常	時間序列數據場景
DataV		PC​、移動端、大屏	️	️	豐富	適合於presentation場景
基於JDBC或OpenAPI自建可視化前端

日誌服務Dashboard主要面須要交互式分析的查詢需求，例如發現錯誤時，須要下鑽定位緣由。跟蹤到某個類目中查看細節，對比同比與環比數據。該方案有以下特色：

• 實時性強

  • 從數據產生，秒級別便可在日誌服務看到數據。
  • 動態刷新，秒級別便可計算出指標，展現在大屏上。

• 秒級精度

  • 日誌時間精確到秒級別。

• 靈活查詢

  • 使用SQL進行交互查詢，能夠進行探索式分析，快速進行假設和驗證。可反覆在原始數據上進行任意維度的計算。而流計算在計算完原始數據後，即拋棄了原始數據，若想回溯調整查詢，基本不可能。因此日誌服務的交互式查詢可謂靈活不少。

• 機器學習支持

  • 時序類機器學習函數，幫助發現業務規律與趨勢

  • 分類與聚類函數，幫助發現與定位異常

使用步驟

以日誌服務dashboard對接爲例，要對接一個大屏，首先要接入數據，而後編寫SQL，配置儀表盤視圖。

1. 接入數據

日誌服務提供30+數據接入手段能夠知足各類數據源訴求，具體參考文檔。

2. 調試SQL+機器學習函數

咱們在日誌服務查詢頁面，經過SQL語法，計算出須要的指標。SQL語法參考語法文檔。

3. 配置視圖並保存

SQL調試好後，配置視圖的參數，添加到儀表盤：

視頻連接：http://cloud.video.taobao.com/play/u/106279/p/1/e/6/t/1/213808527271.mp4

在配置好的大屏中，使用下鑽深刻分析結果：

日誌服務控制檯內置14+類型視圖，用於可視化展現SQL計算結果，具體參考文檔

基於日誌服務大盤案例

• 從日誌到雙十一大屏只要一步：LOG/SLS+DataV 打通
  DataV無縫支持LOG API，使用SQL進行實時計算，統計Nginx日誌的PV、UV網絡等指標。

圖：datav大屏

• 5分鐘搭建網站實時分析：Grafana+日誌服務實戰

圖：grafana大屏

• 日誌服務Nginx dashboard：使用日誌服務內置的地圖、餅圖、折線圖等可視化Nginx日誌指標

圖：日誌服務dashboard

• Pangu 2.0 秒級監控
  Pangu2.0是阿里雲自研的新一代普惠智能新存儲系統。Pangu基於日誌服務搭建秒級監控，Pangu 日誌產生後，秒級採集到日誌服務，並在秒級別計算出各個機器的IOPS、延時、吞吐。可迅速發現負載高的機器，及時跟進處理。

• Fuxi 雙十一資源畫像爲混部保駕護航資源調度大屏：
  伏羲是阿里雲自研的分佈式調度系統。在雙十一期間，爲了監控全部集羣的容量、負載信息，伏羲團隊搭建了基於日誌服務+dataV的可視化大屏。一張大屏囊括了全部的集羣信息，看到這張大屏，就像擁有了一張地圖，在雙十一波濤洶涌的流量面前，作到成竹在胸。

原文連接