年關將至,Cloud Insight 正式版悄然上線了。沒有大張旗鼓的宣傳,也沒有熱熱鬧鬧的慶祝,只是一羣人在上線前踏踏實實的優化了兩週,而後發版,就是這樣一件簡單的事。html
然而就是這樣一個低調的產品,在正式上線以前,就已經累積了數百用戶。node
要說 Cloud Insight 得先說一說 StatsD. 做爲一個基於 Node.js 平臺,簡單的網絡守護進程,StatsD 經過 UDP 或者 TCP 方式偵聽各類統計信息,包括計數器和定時器,併發送聚合信息到後端服務。ios
而在國外基於 StatsD 產生了一系列的工具,或者在成熟的項目基礎之上,開始兼容 StatsD。若是按照方向能夠劃分爲如圖的幾個方向。nginx
有了數據和信息能夠作不少事,包括數據集成、可視化、可視化+存儲、事件流,甚至將這些結合作出一體化解決方案,針對不一樣的需求,不一樣的市場,每個方向都能產生獨特價值。接下來咱們大體介紹一下這幾個方向。數據庫
##Integrations後端
StatsD 自己並不負責定義指標的涵義,因此若是要從數據庫或者操做系統中採集數據,須要進行腳本的開發。其中在這方面作出突出貢獻的是 Datadog。Datadog 開發的 dd-agent 項目在 GitHub 多達 150 個貢獻者,兼容 60 多種操做系統、中間件、數據庫。網絡
除此以外,Librato 和 App First 也加入到 StatsD 的陣營中。而基礎設施管理的解決方案:Puppet 和 Chef 也開始兼容將 StatsD 批量安裝到基礎設施中。架構
##Visualization & Data Hosting併發
光有數據是不夠的,良好的可視化才能將數據的做用發揮出來。在可視化這一塊影響力較大的 Graphite 做爲一個可視化的控件,不只包含可視化還自帶存儲的部分。但也有很多人反映 Graphite 自帶的界面太難看,得益於開源世界的偉大,咱們有了 Grafana 可用,直接部署在nginx上面就行,使用node.js 實現的數據抓取。單論可視化,Grafana 是作得最好的一家,其展示形式豐富,可配置項目鉅細靡遺。Signal FX 後來居上,也參與到競爭中。運維
在數據可視化的基礎之上,也有服務開始從事可視化數據的託管服務。例如:Host Graphite。
##時間序列數據庫和事件處理引擎
其實 StatsD 和時間序列數據庫的出現,是相輔相成的。在 OpenTSDB 和 InfluxDB 基礎之上,StatsD 的應用才日漸豐滿。InfluxDB 是一個開源分佈式時序、事件和指標數據庫,使用 Go 語言編寫,無需外部依賴。對於運維工程師而言,OpenTSDB 能夠獲取基礎設施和服務的實時狀態信息,展現集羣的各類軟硬件錯誤,性能變化以及性能瓶頸。
再說說事件處理引擎,好比 Bosun 是一個新型的監控和告警系統,使用 golfing 編寫,支持定義複雜的告警規則,支持 OpenTSDB、Graphite、Logstash-Elasticsearch 等數據源。Riemann 也開始與時間序列數據庫,或者基於 StastD 的一體化解決方案對接,來彌補一些數據展示產品在報警這個方向上的不足。
##一體化解決方案
那麼,有沒有能包含數據集成、可視化、數據存儲、事件流處理於一體的解決方案呢?對於中小型企業尤爲創業公司來講,自主開發或者利用現有的開源工具進行監控或多或少都會遇到一些問題,既要考慮成本又怕踩坑。這時候除開上述細分的方向以外,提供一體化解決方案的廠商及時出現了。國外這樣的廠商有 Datadog、Librato 等等。其中 Datadog 在國外擁有 Facebook、Airbnb 等重量級客戶,正大展風頭。
而國內只有 Cloud Insight 一家在提供這種一體化解決方案。基於相似的思路,經過輕量級的 StatsD 來達到更高的計算能力,處理日益複雜的基礎設施架構。Cloud Insight 在 HBase 存儲之上,使用了 OpenTSDB 來對性能指標進行聚合、分組、過濾。同時提供告警功能,後期將會完善事件流的展示方式,除了數據管理功能,還能讓團隊的溝通、協做更容易。
##次時代監控產品——Cloud Insight
關注系統監控的人不少都知道 Zabbix 等開源產品,StatsD 做爲新世代的系統監控的核心,目前還處於技術累計過程。愈來愈多的開源項目加入到它的懷抱中,也有愈來愈多的公司,在此基礎之上加入了研發的資源,或者在與之相關的其餘領域中投入成本。
Cloud Insight 經過對 StatsD 的生態環境的研究,整合不一樣的工具爲用戶提供一體化解決方案。採用 StatsD 的採集技術,對接 MySQL、Redis、MongoDB,以及 CentOS、RedHat 操做系統,利用 Hbase 存儲和 OpenTSDB 的數據聚合、切片等功能,最終流向 Cloud Insight 進行展示。
運維 2.0 時代,監控產品只能作到數據的展示,不算作到真正意義上的易用。Cloud Insight 事件流就是聚集報警、探針啓動和操做歷史記錄於一身的功能。可以讓運維人員、研發人員、管理人員,甚至運營人員都參與到 Cloud Insight 這個工具的使用中來,溝通與協做效率更高。
##結語
最終 StatsD 是否有可能取代 Zabbix 或 Nagios 成爲系統監控的新標準,StatsD 系的種種監控產品,到底是否會大放異彩,咱們拭目以待! 本文轉自 OneAPM 官方博客