七個生產案例告訴你BATJ爲什麼選擇ElasticSearch！應用場景和優點！

本文來源於公衆號【胖滾豬學編程】，轉載請註明出處。

從今天開始，想和你一塊兒死磕ElasticSearch，學習分佈式搜索引擎，跟着胖滾豬就對了！

既然是ES的第一課，那麼最重要的是讓你愛上它！不想說那些單純的優點、概念了，直接上大廠的生產案例，纔是最能吸引你的！跟着大廠走，沒問題的！

爲啥選擇ES?

一個技術服務組件，首先須要瞭解全面它的使用場景，才能更針對性的去研究及推廣。所以第一要務是搞懂爲何要學習ElasticSearch，開頭po先一張排行圖，大哥的地位可不是瞎搞來的，沒點實力能上位？憑這排名就是你要學習它的理由！

憑啥排這麼前呢？不就是個搜索引擎嗎。額，也許提到Elasticseach，你第一反應就是"搜索引擎"。相似百度搜索、淘寶搜索那種。而我寫這篇文章就是爲了糾正你這個"錯誤"的觀點。

Elasticseach 確實是作搜索引擎出家的，可是到如今已經進化成了一個全能型的數據產品。所以你的思惟決不能限制在搜索引擎上。

本文經過一線大廠的八個案例，全方位讓你瞭解ElasticSearch的應用場景和優點，包括：

• 日誌實時分析
• 搜索服務
• 數據分析
• 數據監控
• 查詢服務
• 後端存儲

ElasticSearch在騰訊的應用

ElasticSearch在騰訊的應用很是普遍，主要有三：日誌實時分析場景、搜索服務、時序數據分析。

• 搜索服務： 例如像騰訊文檔基於 ES 作全文檢索，電商客戶拼多多、蘑菇街等大量的商品搜索都是基於 ES。
• 日誌分析： 這個是 ES 應用最普遍的領域，支持全棧的日誌分析，包括各類應用日誌、數據庫日誌、用戶行爲日誌、網絡數據、安全數據等等。ES 擁有一套完整的日誌解決方案，能夠秒級實現從採集到展現。
• 時序分析： 典型的場景是監控數據分析，好比雲監控，整個騰訊雲的監控都是基於 ES 的。此外還包括物聯網場景，也有大量的時序數據。時序數據的特色是寫入吞吐量特別高，ES 支持的同時也提供了豐富的多維統計分析算子。

日誌實時分析

典型日誌以下：

• 運營日誌，好比慢日誌、異常日誌，用來定位業務問題；
• 業務日誌，好比用戶的點擊、訪問日誌，能夠用來分析用戶行爲；
• 審計日誌，能夠用於安全分析。ES 很完美的解決了日誌實時分析的需求，它具備以下特色：

Elastic 生態提供了完整的日誌解決方案，任何一個開發、運維同窗使用成熟組件，經過簡單部署，便可搭建起一個完整的日誌實時分析服務。

• 在 Elastic 生態中，日誌從產生到可訪問通常在 10s 級。相比於傳統大數據解決方案的幾十分鐘、小時級，時效性很是高。ES 擁有一套完整的日誌解決方案（ELK），能夠秒級實現從採集到展現。

• 因爲支持倒排索引、列存儲等數據結構，ES 提供很是靈活的搜索分析能力。

• 支持交互式分析，即便在萬億級日誌的狀況下，ES 搜索響應時間也是秒級。

日誌是互聯網行業最基礎、最普遍的數據形式，ES 很是完美的解決了日誌實時分析場景，這也是近幾年 ES 快速發展的一個重要緣由

搜索服務

搜索服務，典型場景包含：商品搜索，相似京東、淘寶、拼多多中的商品搜索；APP 搜索，支持應用商店裏的應用搜索；站內搜索，支持論壇、在線文檔等搜索功能。咱們支持了大量搜索服務，它們主要有如下特色：

• 高性能：單個服務最大達到 10w+ QPS，平響 20ms~，P95 延時小於 100ms。
• 強相關：搜索體驗主要取決於搜索結果是否高度匹配用戶意圖，須要經過正確率、召回率等指標進行評估。
• 高可用：搜索場景一般要求高可用性，支持單機房故障容災。任何一個電商服務，如淘寶、京東、拼多多，只要故障一個小時就能夠上頭條。

時序數據分析

時序數據分析，典型的時序數據包含：Metrics，即傳統的服務器監控；整個騰訊雲的監控都是基於 ES 的。APM，應用性能監控；物聯網數據，智能硬件、工業物聯網等產生的傳感器數據。時序數據的特色是寫入吞吐量特別高，ES 支持的同時也提供了豐富的多維統計分析算子。這類場景具備如下特色：

• 高併發寫入：線上單集羣最大規模達到 600+節點、1000w/s 的寫入吞吐。

• 高查詢性能：要求單條曲線 或者單個時間線的查詢延時在 10ms~。

• 多維分析：要求靈活、多維度的統計分析能力，好比咱們在查看監控的時候，能夠按照地域、業務模塊等靈活的進行統計分析。

上面經過騰訊的案例咱們瞭解了三大應用場景，

• 日誌實時分析場景

• 搜索服務

• 時序數據分析

另外從這三大應用場景咱們也能夠概括出ES的幾大優點：

一、具備高可用性、高擴展性；

二、查詢速度快，性能佳；

三、搜索功能強大，高度匹配用戶意圖。

所以，能夠看出，ES在日誌實時分析和搜索方面的應用優點簡直是無敵的！起碼目前，在這兩方面，尚未強勁的對手！

ElasticSearch在京東的應用

經過京東的案例，聊一聊ES在查詢、檢索、數據分析方面的應用場景

因爲較高的性能和較低的使用門檻，京東內部有不少的場景都在使用 Elasticsearch。覆蓋了京東多條業務線，同時也覆蓋了不少應用場景：

補充關係型數據庫的結構化數據查詢

主要應用的業務是商品、促銷、優惠券、訂單、收銀臺、物流、對帳、評論等大數據量查詢。此場景的核心訴求是高性能、穩定性和高可用性，部分場景會有檢索要求，一般用於加速關係型數據庫，業務系統經過 binlog 同步或業務雙寫完成數據同步。

全文檢索功能

主要的應用場景是應用、安全、風控、交易等操做日誌，以及京東部分品類商品搜索。此類日誌化場景對寫要求很高，查詢性能及高可用等要求相對較低，大的業務寫會達到數千萬 / 秒，存儲以 PB 爲單位來計算。
這些場景對磁盤、內存有比較高的要求，所以，京東也作了相應優化，用於減小內存消耗，提高磁盤總體使用率，使用更廉價的磁盤來下降成本等等。

實時數據分析引擎，造成統計報表

主要應用的業務是物流單的各類分析、訂單數據分析、用戶畫像等。由於業務數據分析緯度較多，flink、storm 等流式分析對於某些報表場景不太適用，批處理實時性又成爲問題，因此近實時分析的 Elasticsearch 就成爲了這些業務的選擇。

從京東的案例中，咱們彷佛看到了，能夠利用ES在某些場景下代替關係型數據庫哦！不只如此，ES在實時數據分析領域，竟然也有一席之地！

ElasticSearch在去哪兒的應用

經過去哪兒的案例，聊一聊ES在查詢方面的應用場景，能夠簡單的理解爲"代替"mysql。注意代替加了引號，閉着眼睛想都不可能徹底代替。好比事務性。

15年去哪兒網酒店日均訂單量達到30w+，隨着多平臺訂單的聚合日均訂單能達到100w左右。

原來採用的熱表分庫方式，即將最近6個月的訂單的放置在一張表中，將歷史訂單放在在history表中。history表存儲全量的數據，當用戶查詢的下單時間跨度超過6個月即查詢歷史訂單表，此分表方式熱表的數據量爲4000w左右，當時能解決的問題。可是顯然不能知足攜程藝龍訂單接入的需求。

若是繼續按照熱表方式，數據量將超過1億條。全量數據表保存2年的可能就超過4億的數據量。因此尋找有效途徑解決此問題迫在眉睫。因爲對這預計4億的數據量還需按照預約日期、入住日期、離店日期、訂單號、聯繫人姓名、電話、酒店名稱、訂單狀態……等多個條件查詢。因此簡單按照某一個維度進行分表操做沒有意義。

顯然只經過DB來支撐大量的查詢是不可取的，同時對於一些複雜的查詢，Mysql支持得不夠友好，因此Elasticsearch分佈式搜索儲存集羣的引入，就是爲了解決訂單數據的存儲與搜索的問題。

對訂單模型進行抽象和分類，將經常使用搜索字段和基礎屬性字段剝離。DB作分庫分表，存儲訂單詳情；Elasticsearch存儲搜素字段。

訂單複雜查詢直接走Elasticsearch，基於OrderNo的簡單查詢走DB，以下圖所示。

從去哪兒的案例中，咱們彷佛看到了，關係型數據庫撐不起的複雜查詢，ES能夠勝任。

總結

何時應該用ElasticSearch?

一、典型搜索場景：閉着眼用它！

二、典型日誌分析場景：閉着眼用它！

三、關係型數據庫查詢有瓶頸：考慮下用它！爲啥是考慮？ES的優勢在於查詢，然而實踐證實，在被做爲數據庫來使用，即寫完立刻查詢會有延遲。

四、數據分析場景：考慮下用它！爲啥是考慮？簡單通用的場景需求能夠大規模使用，但在特定業務場景領域，仍是要選擇更加專業的數據產品，如複雜聚合，ClickHouse相比 Elasticserach 作億級別數據深度聚合需求會更加合適。

ElasticSearch有什麼優點呢？

一、很簡便的橫向擴容，分佈式的架構，能夠輕鬆地對資源進行橫向縱向擴縮容，能夠知足不一樣數據量級及查詢場景對硬件資源的需求。能由數百臺到萬臺機器搭建知足PB級的快速搜索，也能搭建單機版服務小公司。

二、查詢速度快：ES底層採用Lucene做爲搜索引擎，並在此之上作了多重優化，保證了用戶對數據查詢數據的需求。可"代替"傳統關係型數據庫，也可用於複雜數據分析，海量數據的近實時處理等。

三、相關性高：ES內部提供了完善的評分機制，會根據分詞出現的頻次等信息對文檔進行相關性排序，保證相關性越高的文檔排序越靠前。另外還提供了包括模糊查詢，前綴查詢，通配符查詢等在內的多種查詢手段，幫助用戶快速高效地進行檢索。

四、功能點多但使用比較簡便，開箱即用，性能優化比較簡單

五、生態圈豐富，社區活躍，適配多種工具。以下圖，處理日誌和輸出到Elasticsearch，您可使用日誌記錄工具，如Logstash（www.elastic.co/products/logstash），搜索和可視化界面分析這些日誌，你可使用Kibana（www.elastic.co/產品/ kibana），即傳說中的ELK技術棧。另外當前主流的大數據框架也幾乎都支持ES，好比Flink和ES就是個完美搭檔。

本文參考：

騰訊萬億級 Elasticsearch 技術解密

搜索引擎怎麼選？攜程酒店訂單Elasticsearch實戰

Elasticsearch在京東的使用場景

本文來源於公衆號：【胖滾豬學編程】。一枚集顏值與才華於一身，不算聰明卻足夠努力的女程序媛。用漫畫形式讓編程so easy and interesting！求關注！