阿里雲Elasticsearch的X-Pack：機器學習、安全保障和可視化

摘要： ELK是日誌分析領域較爲流行的技術選擇，很多阿里雲用戶選擇在ECS上搭建開源Elasticsearch。與自建開源Elastisearch相比，阿里雲Elasticsearch作了性能優化，支持彈性擴容，並搭載了商業版組件X-Pack，爲用戶提供即開即用的託管服務。

X-Pack
ELK是日誌分析領域較爲流行的技術選擇，很多阿里雲用戶選擇在ECS上搭建開源Elasticsearch。目前，阿里雲和ES官方Elastic公司展開了產品合做，聯合推出了阿里雲Elasticsearch。與自建開源軟件相比，這款產品作了性能優化，支持彈性擴容，並搭載了商業版組件X-Pack，爲用戶提供即開即用的託管服務。本文將對商業版組件X-Pack作深刻解讀。
X-Pack介紹

阿里雲Elasticsearch搭載了V5.5版本的X-Pack，提供安全、監控、告警、報告、圖分析和機器學習六大擴展組件，無需額外安裝插件，就能與Elastisearch、Kibana無縫對接。

安全組件

2017年1月爆發了Elasticsearch數據勒索事件，涉及到的數據至少500億條，被刪除數據至少450TB。X-Pack中的安全組件提供了對應的安全解決方案，讓IT和應用團隊可以依賴 X-Pack 來區分和管理正經常使用戶和惡意入侵者；與此同時，Elasticsearc中存儲的數據始終享有可靠的安全保障，公司高管和客戶都能高枕無憂。

密碼管理

結合 Active Directory 和 LDAP 等受權系統，能夠建立自定義 Realm 來支持您本身開發的身份管理系統，或者使用咱們的內置原生驗證。

用戶和角色權限管理

控制用戶在 Elasticsearch中的權限。受權 IT /運營團隊監控 Elasticsearch 集羣健康情況，但不受權查看或修改數據。或者爲營銷團隊授予營銷專用數據的只讀權限，但拒絕他們訪問其餘索引。

數據加密

藉助 SSL/TLS 加密，您能夠保護端對端傳輸、HTTP 傳輸，並在整個 Elasticsearch傳輸客戶端流量。IP 篩選也可以防止未經批准的主機加入您的集羣或與您的集羣通訊。

提供審覈日誌

X-Pack 中的審覈日誌功能可以讓您輕鬆地維護全部系統和用戶活動的完整記錄，它可幫助您保持對內部安全政策以及 HIPAA、PCI DSS、FISMA、ISO 等規範的合規性。

監控和告警組件

ELK應用性能監控

X-Pack提供對 Elasticsearch、Kibana 和 Logstash 的性能監控。儀表板集合可以幫助您在各個層級上評估儀表板的狀態，同時爲您提供全部必要的信息，讓您始終最大限度地發揮 ELK 系統的做用。

執行實時分析和歷史分析

能夠將上週、上個月或去年的集羣性能做爲參考，分析今天的集羣性能。並可以幫助您優化磁盤空間和內存，利用歷史數據進行將來容量規劃。

定製和管理告警

檢測數據變化，可定製告警信息和通知渠道。經過Kibana能夠管理和監控告警，並能夠對告警歷史記錄進行查看和操做。

報告組件

阿里雲Elaticsearch用戶能夠開箱即用X-Pack的報告組件功能，可以爲Kibana 可視化或儀表板快速生成報告。用戶能夠即需即取報告、預定報告、根據特定條件觸發報告，並自動將報告分享給他人。報告所採用的架構爲報告賦予了可擴展性，而且便於報告傳輸，讓您可以隨時隨地獲取 Kibana 中的信息。

Graph組件

Graph 組件是一種基於 API 和基於 UI 的工具，可以讓您數據中存在的相關關係浮現出來，同時可以在任何規模下利用各項 Elasticsearch 功能，例如分佈式查詢執行、實時數據可用性和索引等。 可應用於反欺詐、個性化推薦、安全分析等場景。

在 Kibana 中將關係可視化

Kibana 中的圖表 UI 讓您可以直觀地看到Graph功能挖掘出的聯繫。 Kibana 中提供的任何地圖、時間軸、餅圖或原始文檔可視化，向下鑽取詳細信息。點擊由網絡化實體構成的圖並與圖交互，可查看聯繫強度，甚至能夠自定義顏色和圖標。

機器學習組件

數據複雜多變，當出現基礎設施問題、入侵者或業務問題時，幾乎不可能利用規則或經過人工監視儀表板發現問題。X-Pack引入了機器學習功能能夠實時地自動模擬 Elasticsearch 數據的行爲——趨勢、週期等，從而更快地發現問題、簡化問題根源分析、下降誤報率。

IT 運維

發現應用請求數量異常下降，而後深刻探究致使異常的問題服務器。

安全性分析

發現異常網絡活動或用戶行爲，趁攻擊者製造破壞以前準確地定位攻擊者。

業務分析

若是您的電子商務網站中廢棄購物車異常增多，則會給您發出通知。

阿里雲Elasticsearch

阿里雲Elasticsearch已正式發佈啦，阿里雲攜手Elastic開源官方聯合開發，集成5.5.3商業版本X-Pack功能，歡迎開通使用。