elasticsearch學習基礎知識總結

對elasticsearch基礎知識部分作一個比較系統的總結和概括,感受已經很全了,在實際中遇到的不少問題,均可以找到參照點,而後針對的去解決問題。

鄭重說明,可能不少知識本身沒有講得很清楚,但願你們批評指正,我會學習和修改的,謝謝~~
後面會繼續更新實戰篇~~前端

本身的心得和經歷

我是屬於一個ES小白,爲了解決部門內部的一些瓶頸問題,學習ES而後去實踐的。
舉三個場景吧,固然場景應該是不少的mysql

第一個場景

若是mysql表過大以後主要千萬級以上,這個時候會出現各類各樣的問題,好比很是常見的就是慢查詢,這個主要是一開始業務量不大,而後忽然業務猛增,慢查詢問題就來了。而後還有就是導出數據問題,須要支持各類靈活的篩選條件來大批量的下載導出數據。實際場景就是對帳,還有數據分析。
固然解決上面這些問題,應該有不少種方法,我是採用將數據同步到ES,包括全量和增量同步,而後寫一個查詢服務,前端直接調用個人查詢接口就OK了。如今已經投入使用,幾十萬的數據通常不超過3分鐘,表數據都是千萬級的或是更多。算法

第二個場景

目前若是作指標監控,本身去開發一套會很是的複雜,可是若是使用ES就不同的,能夠輕鬆的作到這件事情。咱們就是用ES作一套行爲日誌收集,以及利用現有的mysql數據到ES的開源工具logstash、canal、go-mysql-elasticsearch,將數據近實時的放在ES上面,而後經過grafana或是kibana,進行分析和展現,能夠近實時的監控咱們作的部分業務的效果,即便的作出調整,主要也是業務須要,不少的業務可能不須要,只是個人這些業務是很是須要這個,由於直接會影響收入。sql

第三個場景

直接用ES做爲數據存儲,也就是數據不存mysql了。我是作了一個,不過不是所有數據都是用ES的,還有一些數據是存在mysql數據庫中的。若是想用ES存儲的話,必定要保證你的業務是一些實時性要求沒有那麼高的。數據庫

下面是作的筆記,相似起到一個目錄的做用

elasticsearch學習筆記(一)——大白話告訴你什麼是elasticsearch
https://segmentfault.com/a/11...json

elasticsearch學習筆記(二)——elasticsearch的功能、適用場景以及特色介紹
https://segmentfault.com/a/11...segmentfault

elasticsearch學習筆記(三)——Elasticsearch的核心概念
https://segmentfault.com/a/11...windows

elasticsearch學習筆記(四)——在windows上安裝和啓動Elasticsearch
https://segmentfault.com/a/11...api

elasticsearch學習筆記(五)——快速入門案例實戰電商網站商品管理:集羣健康檢查,文檔的CRUD
https://segmentfault.com/a/11...性能優化

elasticsearch學習筆記(六)——快速入門案例實戰之電商網站商品管理:多種搜索方式
https://segmentfault.com/a/11...

elasticsearch學習筆記(七)——快速入門案例實戰之電商網站商品管理:嵌套聚合,下鑽分析,聚合分析
https://segmentfault.com/a/11...

elasticsearch學習筆記(八)——剖析Elasticsearch的基礎分佈式架構
https://segmentfault.com/a/11...

elasticsearch學習筆記(九)——shard&replica機制以及ES集羣節點的問題
https://segmentfault.com/a/11...

elasticsearch學習筆記(十)——Elasticsearch橫向擴容過程與容錯機制
https://segmentfault.com/a/11...

elasticsearch學習筆記(十一)——document的核心元數據、操做以及原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(十二)——Elasticsearch併發衝突問題以及鎖機制
https://segmentfault.com/a/11...

elasticsearch學習筆記(十三)——Elasticsearch樂觀鎖併發控制實戰
https://segmentfault.com/a/11...

elasticsearch學習筆記(十四)——Elasticsearch partial update實現原理和實踐
https://segmentfault.com/a/11...

elasticsearch學習筆記(十五)——Elasticsearch partial update內置樂觀鎖併發控制
https://segmentfault.com/a/11...

elasticsearch學習筆記(十六)——Elasticsearch mget批量查詢api實戰
https://segmentfault.com/a/11...

elasticsearch學習筆記(十七)——Elasticsearch document數據路由原理以及主分片的不可變
https://segmentfault.com/a/11...

elasticsearch學習筆記(十八)——Elasticsearch document增刪改內部原理,寫一致性機制
https://segmentfault.com/a/11...

elasticsearch學習筆記(十九)——Elasticsearch document查詢內部原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十)——Elasticsearch bulk api的奇特json格式與底層性能優化關係
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十一)——Elasticsearch _search結果的含義以及timeout機制
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十二)——Elasticsearch multi-index搜索模式以及搜索原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十三)——Elasticsearch 分頁搜索以及深分頁性能問題
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十四)——Elasticsearch query string語法以及_all元數據原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十五)——Elasticsearch mapping詳解以及索引內部原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十六)——Elasticsearch query DSL搜索實戰
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十七)——Elasticsearch filter與query
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十八)——Elasticsearch 實戰各類query搜索
https://segmentfault.com/a/11...

elasticsearch學習筆記(二十九)——Elasticsearch 將一個field索引兩次來解決字符串排序問題
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十)——Elasticsearch 相關度評分 TF&IDF算法
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十一)——Elasticsearch doc value正排索引
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十二)——Elasticsearch 解密query、fetch phrase原理
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十三)——Elasticsearch Bouncing Results問題
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十四)——Elasticsearch 基於scoll技術滾動搜索大量數據
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十五)——Elasticsearch 索引管理
https://segmentfault.com/a/11...

elasticsearch學習筆記(三十六)——Elasticsearch 內核原理
https://segmentfault.com/a/11...

鄭重說明,可能不少知識本身沒有講得很清楚,但願你們批評指正,我會學習和修改的,謝謝~~

相關文章
相關標籤/搜索