ElasticSearch 是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於RESTful web接口。Elasticsearch 是用Java開發的,並做爲Apache許可條款下的開放源碼發佈,是當前流行的企業級搜索引擎。設計用於雲計算中,可以達到實時搜索,穩定,可靠,快速,安裝使用方便。html
咱們創建一個網站或應用程序,並要添加搜索功能,可是想要完成搜索工做的建立是很是困難的。咱們但願搜索解決方案要運行速度快,咱們但願能有一個零配置和一個徹底免費的搜索模式,咱們但願可以簡單地使用JSON經過HTTP來索引數據,咱們但願咱們的搜索服務器始終可用,咱們但願可以從一臺開始並擴展到數百臺,咱們要實時搜索,咱們要簡單的多租戶,咱們但願創建一個雲的解決方案。所以咱們利用Elasticsearch 來解決全部這些問題以及可能出現的更多其它問題。node
便於安裝支持多平臺:Linux,Windows等web
便於開發支持多語言:Java,Python,PHP等sql
查詢速度快,使用於大量數據查詢apache
支持分詞系統和聚合分析等多種功能bootstrap
提示:以elasticsearch-2.3.3爲例,不管是Windows仍是Linux在配置elasticsearch.yml文件時對其中的配置項保持嚴格的縮進,不然啓動可能報錯服務器
而且當前安裝elasticsearch版本較低,後續版本可能與此不一樣可是萬變不離其宗。網絡
(1)將下載好的elasticsearch-2.3.3.zip包解壓併發
(2)進入elasticsearch-2.3.3目錄下的conf下app
(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件中的network.host選項爲本身本地的ip地址
(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下雙擊啓動elasticsearch.bat該文件便可
(1)將下載好的elasticsearch-2.3.3.zip包解壓
(2)進入elasticsearch-2.3.3目錄下的conf下
(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件
cluster.name:英文集羣名稱 node.name: 英文節點名稱 path.data: 數據存放位置 path.logs:日誌存放位置 network.host:主節點ip地址 transport.tcp.port: tcp端口通常使用9300 http.port: web訪問端口通常使用9200
(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下執行./elasticsearch便可,後臺執行需在後面加上-d
4.一、查看elasticsearch-2.3.3目錄下是否含有plugins改目錄,若是沒有則須要手動建立
4.二、將head.zip解壓至plugins目錄下按照以上步驟從新啓動便可
訪問地址:http://ip:9200/_plugin/head/
同理kopf和elasticsearch-sql安裝
特殊說明:只有elasticsearch-sql插件只能查詢而且能夠將sql轉爲elasticsearch聚合語句;而kopf和head既能夠作查詢又能夠作增、刪、改
head插件展現效果圖
kopf插件展現效果圖
elasticsearch-sql插件展現效果圖
(1)集羣名稱,默認爲elasticsearch
cluster.name:elasticsearch
(2)節點名稱,es啓動時會自動建立節點名稱,但你也可進行配置
node.name: "node1"
(3)是否做爲主節點,每一個節點均可以被配置成爲主節點,默認值爲true
node.master: true
(4)是否存儲數據,即存儲索引片斷,默認值爲true
node.data: true
{master和data同時配置會產生一些奇異的效果:
1) 當master爲false,而data爲true時,會對該節點產生嚴重負荷;
2) 當master爲true,而data爲false時,該節點做爲一個協調者;
3) 當master爲false,data也爲false時,該節點就變成了一個負載均衡器。}
(5)每一個節點均可以定義一些與之關聯的通用屬性,用於後期集羣進行碎片分配時的過濾
node.rack: rack1
(6)默認狀況下,多個節點能夠在同一個安裝路徑啓動,若是你想讓你的es只啓動一個節點,能夠進行以下設置
node.max_local_storage_nodes: 1
(7)設置一個索引的碎片數量,默認值爲5
index.number_of_shards: 5
(8)設置一個索引可被複制的數量,默認值爲1
index.number_of_replicas: 1
(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置
path.conf: /path/to/conf
(10) 分配給當前節點的索引數據所在的位置:
path.data: /path/to/data
(11) 臨時文件位置:
path.work: /path/to/work
(12)日誌文件所在位置:
path.logs: /path/to/logs
(13) 插件安裝位置:
path.plugins: /path/to/plugins
(14) 插件託管位置,若列表中的某一個插件未安裝,則節點沒法啓動:
plugin.mandatory: mapper-attachments,lang-groovy
(15) JVM開始交換時,ElasticSearch表現並很差:你須要保障JVM不進行交換,能夠將bootstrap.mlockall設置爲true禁止交換:
bootstrap.mlockall: true
請確保ES_MIN_MEM和ES_MAX_MEM的值是同樣的,而且可以爲ElasticSearch分配足夠的內在,併爲系統操做保留足夠的內存。
(16)默認狀況下,ElasticSearch使用0.0.0.0地址,併爲http傳輸開啓9200-9300端口,爲節點到節點的通訊開啓9300-9400端口,也能夠自行設置IP地址:
network.bind_host: 192.168.0.1
(17)publish_host設置其餘節點鏈接此節點的地址,若是不設置的話,則自動獲取,publish_host的地址必須爲真實地址:
network.publish_host: 192.168.0.1
(18)bind_host和publish_host能夠一塊兒設置:
network.host: 192.168.0.1
(19)能夠定製該節點與其餘節點交互的端口:
transport.tcp.port: 9300
(20)節點間交互時,能夠設置是否壓縮,轉爲爲不壓縮:
transport.tcp.compress: true
(21)能夠爲Http傳輸監聽定製端口:
http.port: 9200
(22)設置內容的最大長度:
http.max_content_length: 100mb
(23)禁止HTTP
http.enabled: false
(24)網關容許在全部集羣重啓後持有集羣狀態,集羣狀態的變動都會被保存下來,當第一次啓用集羣時,能夠從網關中讀取到狀態,默認網關類型(也是推薦的)是local:
gateway.type: local
(25)容許在N個節點啓動後恢復過程:
gateway.recover_after_nodes: 1
(26)設置初始化恢復過程的超時時間:
gateway.recover_after_time: 5m
(27)設置該集羣中可存在的節點上限:
gateway.expected_nodes: 2
(28)設置一個節點的併發數量,有兩種狀況,一種是在初始復甦過程當中:
cluster.routing.allocation.node_initial_primaries_recoveries: 4
另外一種是在添加、刪除節點及調整時:
cluster.routing.allocation.node_concurrent_recoveries: 2
(29)設置復甦時的吞吐量,默認狀況下是無限的:
indices.recovery.max_size_per_sec: 0
(30)設置從對等節點恢復片斷時打開的流的數量上限:
indices.recovery.concurrent_streams: 5
(31)設置一個集羣中主節點的數量,當多於三個節點時,該值可在2-4之間:
discovery.zen.minimum_master_nodes: 1
(32)設置ping其餘節點時的超時時間,網絡比較慢時可將該值設大:
discovery.zen.ping.timeout: 3s
http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。
(33)禁止當前節點發現多個集羣節點,默認值爲true:
discovery.zen.ping.multicast.enabled: false
(34)設置新節點被啓動時可以發現的主節點列表:
discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
單點與集羣的關係是依靠同一個主節點名稱和不一樣子節點名稱,不一樣端口號,不一樣ip做爲聯繫的介質,在配置文件中只須要在個別配置項配置多個不一樣ip和不一樣端口,而且同一個集羣名稱便可
(1)在個別業務場景下須要查詢大量的數據並展現出來,不管是http請求查詢也好仍是elasticsearch API查詢也好,當查詢大於1024條數據事基本都會遇到一個報錯;顯示查詢內容大於1024,這時須要在elasticsearch的配置文件中增長一個設置:
index.query.bool.max_clause_count: 100000
(2)踩坑繼續補充中.............