查詢億級數據毫秒級返回！Elasticsearch 是如何作到的？

掌握搜索技能，才能在龐大的數據集中找到準確的目標。本篇就帶你進入另外一個非凡的旅程，即便你沒有像Google或Baidu同樣強大的技術，同樣也能夠作出與之相匹敵的用戶體驗。

搜索是現代軟件必備的一項基礎功能，而 Elasticsearch 就是一款功能強大的開源分佈式搜索與數據分析引擎。

它能夠從海量數據中快速找到相關信息，在同領域內幾乎沒有競爭對手——近兩年 DBRanking 的數據庫評測中，ES 在搜索引擎領域始終位列第一。

當你在 GitHub 上搜索時，Elasticsearch 能夠實現代碼級的搜索與高亮顯示 ；當你在網上購物時，ES 可爲你推薦喜歡的商品；當你下班打車回家時，ES 能夠經過定位附近的乘客和司機，幫助平臺優化調度。

Elasticsearch 還被普遍運用於大數據近實時分析，包括日誌分析、指標監控、信息安全等多個領域。

它能夠探索海量結構化、非結構化數據，按需建立可視化報表，對監控數據設置報警閾值，甚至經過使用機器學習，作到自動識別異常情況。

做爲目前最流行的開源搜索引擎，ES 在全球的下載量已超過 3.5 億次，騰訊、滴滴、今日頭條、餓了麼、360 安全、小米，vivo 等國內諸多知名公司都在使用 Elasticsearch。

Elasticsearch 有什麼特色？

Elasticsearch 很是容易上手，具備開箱即用的特性，你能夠在極短的時間內設置好開發環境，而後快速上手使用，繼而在成百上千臺服務器上實現 PB 級的數據處理。

雖然上手快，但要作到深刻理解並高效使用，可就沒那麼簡單了，好比：

1. 爲何個人數據查不到，明明是有的啊！

2. 什麼鬼？爲何這幾條數據出如今搜索結果的前幾位？

3. 生產環境我須要多少臺機器，索引的分片數怎麼樣設置纔是合理的？

4. 應該關注哪些指標，才能保證集羣健康高效地運行？

5. 對於日誌型應用，如何設置 Hot & Warm Architecture 節約成本，怎樣管理和優化基於時間序列的索引數據，才能提升集羣的總體性能？

4. 爲何個人集羣腦裂了？數據損壞後，怎樣才能恢復？

其實，想要掌握 Elasticsearch，除了要理解其分佈式架構的原理外，還要了解一些信息檢索領域的知識和相關技巧。

分享給你一張 Elasticsearch 核心知識圖譜，只有對每個知識點仔細梳理並深刻理解，才能解決工做中的實際問題。

   

這張圖譜出自阮一鳴，我以前聽過他在 Elastic 中國開發者大會的分享，講得很是不錯。

最近，得知他跟極客時間合做，推出了一門視頻課《Elasticsearch 核心技術與實戰》，我有幸提早看到了目錄和一部份內容，很想推薦給你。

在課程中，他用理論與實踐相結合的方式、深刻淺出地講解了 Elasticsearch，只要你堅持學習，就能夠掌握 ES 的基本概念和服務搭建，瞭解其運行機制和經常使用技巧，並經過上手實戰理解 ES 在實際項目中的應用。

近幾年 ES 很是熱門，因此去年 Elastic 公司推出了官方的 Elastic 工程師認證考試，須要考生在 3 個小時的線上考試中，動手解決 12 個實際問題，就算有多年工做經驗的老手都未必能經過。

因此，這個認證的含金量仍是挺高的，有證跟沒證不只能力水平可能差一個檔次，收入也有可能差一個檔次。

阮一鳴說，這門課覆蓋了 Elastic 認證考試的所有考點，想參加考試的朋友能夠將這門課做爲參考教材，這也算是「學習技能以外的 bonus」了。

關於阮一鳴

阮一鳴，eBay Pronto 平臺技術負責人。Pronto 平臺管理了 eBay 內部上百個 Elasticsearch 集羣，數據規模超過了 4000 個節點。這些集羣在 ebay 的生產環境中，支撐了包括訂單搜索，商品推薦，日誌管理，風險控制，IT 運維，安全監控等不一樣領域的服務。

做爲一名互聯網行業的老兵，他從業近 20 年了，在大數據、雲計算和性能優化方面積累了豐富的經驗。同時，他仍是一名連續創業者，創辦過手機遊戲公司、個性化音樂推薦與分享平臺 8box。

他是如何講解 Elasticsearch 的？

若是你對 Elasticsearch 有些瞭解，就會發現 ES 的產品迭代速度很是快，不少老的 API 都已經被廢棄再也不使用，搜索到的參數配置也大多發生了變化。

市面上的書籍和教程都是基於 5.x 甚至是 2.x 版本。而在課程中，哥們兒使用Elasticsearch 最新的 7.1 版本進行教學。

全部 ES 最新版本的特性，在課程裏都會有全面和直觀地展示，好比：用機器學習進行異常檢測；用 Canvas 展現數據；用索引的生命週期管理工具對索引進行優化等等。

結合目錄，我總結了一下，這個課大概分爲 5 個部分：

1. 初識 Elasticsearch：

Elasticsearch 核心概念、工做機制與應用場景；本地開發環境搭建；倒排索引的原理與 ES 中 Analysis 的具體細節；Mapping 設置和一些基本的 Search & Aggregation API。

2. 深刻了解 Elasticsearch：

理解 Elasticsearch 分佈式架構的原理；相關性算分的原理；數據建模的最佳實踐；深刻搜索及聚合功能以提升搜索結果的相關度。

3. 管理 Elasticsearch 集羣：

集羣的水平擴展、參數配置、性能優化、故障診斷。

4. 利用 ELK 作大數據分析：

結合使用場景和數據，探索 Logstash、Kibana 的各項功能。

5. 應用實戰工做坊：

設計了電影搜索和 Stack Overflow 用戶調查問卷數據分析兩個實戰項目，經過上手實踐，你能夠鞏固所學的知識點，並運用到實際項目中。

須要什麼基礎，能得到什麼？

這門課不只適合有 ES 使用經驗的人，也適合初學者。編程知識和數據庫的相關使用經驗，會對你學習 ES 有必定幫助，但並非必須的。

針對開發人員，搜索是一項被普遍須要的功能，哥們兒詳細地講解了相關的搜索概念在 Elasticsearch 中是如何對應和具體實現的。

若是你是一名 ES 的運維人員，管理了公司內部的 Elasticsearch 集羣：上線前的如何進行容量規劃，上線後如何保證這些集羣在生產環境內穩定高效的運行，如何在凌晨識別出異常信號，及時發出告警，以免災難的發生。

這些問題，他在課程中都會給出相關的最佳實踐。

其實，不管是開發仍是運維，架構師抑或數據分析師，甚至是產品經理，都應該學一學 Elastic Stack。

在大數據時代，近實時的搜索和分析能力，會讓你惟快不破，洞見將來。——這句 copy 了阮一鳴，要我說其實就是升職加薪走上人生巔峯唄，這話夠實在吧。

跟着好好學，結合課程中的練習和實踐，相信你必定能學以至用，基於 Elasticsearch 構建出你本身的搜索和數據分析產品。

這部分好像寫得有點長啊，要我總結就一句：放心學，學得會，用得着。

△掃個人海報試讀或訂閱

從我這裏訂閱有什麼福利？

1. 早鳥優惠 ¥99，原價 ¥129。

2. 訂閱專欄後，能夠得到阮一鳴親自整理的高清版「Elasticsearch 核心知識圖譜」，獲取方式：在公衆號內回覆關鍵字「ES」。

說了半天，是時候上目錄了，

想要乾貨往下看：