通向ES的高速公路

1、背景

隨着互聯網的發展和Elasticsearch（如下簡稱ES）技術的成熟，愈來愈多的企業、政府單位將產生或者得到大量的數據，用ES進行全文搜索和分析。

維基百科使用Elasticsearch來進行全文搜索並高亮顯示關鍵詞，以及提供search-as-you-type、did-you-mean等搜索建議功能。

英國衛報使用Elasticsearch來處理訪客日誌，以便能將公衆對不一樣文章的反應實時地反饋給各位編輯。

StackOverflow將全文搜索與地理位置和相關信息進行結合，以提供more-like-this相關問題的展示。

GitHub使用Elasticsearch來檢索超過1300億行代碼。

Goldman Sachs天天使用它來處理5TB數據的索引，還有不少投行使用它來分析股票市場的變更。

……

伴隨上述大數據而來的是數據分析，企業和政府單位都會經過分析數據（數據經營、探索、分析）得到分析結果，並把分析結果大量的運用企業的產品營銷或者政府決策上面。而kibana插件在其中起了重要的做用。kibana是一個爲 ElasticSearch 提供的數據分析的 Web 接口，可對數據進行高效的搜索、可視化、分析等各類操做，形象地展現數據的變化趨勢和分佈統計狀況。

雖然有了上述的種種優勢，但ElasticSearch的安全性與易用性仍飽受爭議。從有鑑於此，咱們開發出了ESQL工具，用以下降應用程序和用戶使用ES難度，爲用戶提供SQL接口與訪問控制能力。一方面，經過ESQL的防禦實現客戶端與ES集羣的安全隔離。另外一方面，ESQL工具能夠簡化使用，可快速在ES上現實高級檢索、複雜邏輯運算、安全控制等功能。而kibana的發展受限於ElasticSearch，沒法提供用戶自助式的服務。即將出爐的FEA3版本推出了KA自助分析插件（如下簡稱KA），讓FEA和ES結合的更加緊密無間，更加適應FEA的一站式敏捷分析。個人數據我作主，讓數據分析再也不難懂！

2、KA的優點

1、全部data無需記憶，全部數據信息一目瞭然

不只顯示了表格數據，還可經過圖表展現該數據統計信息。

2、分析自助，不懂SQL也能進行數據分析

只需鼠標輕點幾下，便可完成數據分析。例如會自動排列出重複出現次數最多的前5個字段的值，鼠標點擊該區域便可顯示出全部包含該字段內容的數據。

3、比傳統SQL強大

能夠根據時間序列、IP範圍、地址等字段來進行數據聚合

看不清楚，那就再放大一點

以時序字段insert_stamp_string爲例，按天設置間隔選擇day，讓咱們來看一下統計的結果

怎麼樣，是否是很easy，對時序數據的處理，就是鼠標輕輕一點這麼簡單。

化繁爲簡以後，使得數據分析的門檻大大下降，應用場景也越加豐富。看到上面的折線圖，有沒有想到股市裏的K線圖。沒錯，股市也是KA自助分析適用的一大場景，你能夠根據不一樣的時序自由調整進行數據統計分析。而按照IP範圍或者地址等字段的分析應用，對網絡安全的態勢感知、地域分佈的數據統計分析等場景來講正是恰到好處。

固然，享受該種便利也是有前提條件的，數據必須是按照ES標準格式構建的。

4、KA與FEA完美結合，方便對數據進行深刻的分析處理

同kibana同樣，KA自己不支持機器學習、更多的圖表展示。將KA與FEA結合以後，可以將數據加載到DF表作更加複雜更加深刻的分析運算，支持的圖表也更加豐富多樣。

將ES數據添加到DF表

將分析數據存儲到數據庫或者數據文件，確保數據不丟失。

將ES數據存儲到ssdb數據庫

FEA前進一小步，分析師方便一大步！趕快來參與體驗吧，你就是那個數據分析專家！