ElasticSearch2.3.3離線搭建(windows+Linux)

一、ElasticSearch介紹

ElasticSearch 是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎,基於RESTful web接口。Elasticsearch 是用Java開發的,並做爲Apache許可條款下的開放源碼發佈,是當前流行的企業級搜索引擎。設計用於雲計算中,可以達到實時搜索,穩定,可靠,快速,安裝使用方便。html

咱們創建一個網站或應用程序,並要添加搜索功能,可是想要完成搜索工做的建立是很是困難的。咱們但願搜索解決方案要運行速度快,咱們但願能有一個零配置和一個徹底免費的搜索模式,咱們但願可以簡單地使用JSON經過HTTP來索引數據,咱們但願咱們的搜索服務器始終可用,咱們但願可以從一臺開始並擴展到數百臺,咱們要實時搜索,咱們要簡單的多租戶,咱們但願創建一個雲的解決方案。所以咱們利用Elasticsearch 來解決全部這些問題以及可能出現的更多其它問題。node

二、ElasticSearch優勢

便於安裝支持多平臺:Linux,Windows等web

便於開發支持多語言:Java,Python,PHP等sql

查詢速度快,使用於大量數據查詢apache

支持分詞系統和聚合分析等多種功能bootstrap

三、window和Linux

提示:以elasticsearch-2.3.3爲例,不管是Windows仍是Linux在配置elasticsearch.yml文件時對其中的配置項保持嚴格的縮進,不然啓動可能報錯服務器

而且當前安裝elasticsearch版本較低,後續版本可能與此不一樣可是萬變不離其宗。網絡

3.一、Windows搭建ElasticSearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓併發

(2)進入elasticsearch-2.3.3目錄下的conf下app

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件中的network.host選項爲本身本地的ip地址

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下雙擊啓動elasticsearch.bat該文件便可

3.二、Linux搭建elasticsearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓

(2)進入elasticsearch-2.3.3目錄下的conf下

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件

cluster.name:英文集羣名稱 
node.name: 英文節點名稱
path.data: 數據存放位置
path.logs:日誌存放位置
network.host:主節點ip地址
transport.tcp.port: tcp端口通常使用9300
http.port: web訪問端口通常使用9200

 

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下執行./elasticsearch便可,後臺執行需在後面加上-d

四、安裝head,kopf,elasticsearch-sql可視化插件等

4.一、查看elasticsearch-2.3.3目錄下是否含有plugins改目錄,若是沒有則須要手動建立

4.二、將head.zip解壓至plugins目錄下按照以上步驟從新啓動便可

訪問地址:http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安裝

特殊說明:只有elasticsearch-sql插件只能查詢而且能夠將sql轉爲elasticsearch聚合語句;而kopf和head既能夠作查詢又能夠作增、刪、改

head插件展現效果圖

 

kopf插件展現效果圖

 

elasticsearch-sql插件展現效果圖

五、關於elasticsearch.yml配置詳解

(1)集羣名稱,默認爲elasticsearch

            cluster.name:elasticsearch

(2)節點名稱,es啓動時會自動建立節點名稱,但你也可進行配置

            node.name: "node1"

(3)是否做爲主節點,每一個節點均可以被配置成爲主節點,默認值爲true

            node.master: true

(4)是否存儲數據,即存儲索引片斷,默認值爲true

            node.data: true

            {master和data同時配置會產生一些奇異的效果:

            1) 當master爲false,而data爲true時,會對該節點產生嚴重負荷;

            2) 當master爲true,而data爲false時,該節點做爲一個協調者;

            3) 當master爲false,data也爲false時,該節點就變成了一個負載均衡器。}

(5)每一個節點均可以定義一些與之關聯的通用屬性,用於後期集羣進行碎片分配時的過濾

             node.rack: rack1

(6)默認狀況下,多個節點能夠在同一個安裝路徑啓動,若是你想讓你的es只啓動一個節點,能夠進行以下設置

            node.max_local_storage_nodes: 1

(7)設置一個索引的碎片數量,默認值爲5

            index.number_of_shards: 5

(8)設置一個索引可被複制的數量,默認值爲1

            index.number_of_replicas: 1

(9)配置文件所在的位置,即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配給當前節點的索引數據所在的位置:

            path.data: /path/to/data

(11) 臨時文件位置:

            path.work: /path/to/work

(12)日誌文件所在位置:

            path.logs: /path/to/logs

(13) 插件安裝位置:

            path.plugins: /path/to/plugins

(14) 插件託管位置,若列表中的某一個插件未安裝,則節點沒法啓動:

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM開始交換時,ElasticSearch表現並很差:你須要保障JVM不進行交換,能夠將bootstrap.mlockall設置爲true禁止交換:

            bootstrap.mlockall: true

            請確保ES_MIN_MEM和ES_MAX_MEM的值是同樣的,而且可以爲ElasticSearch分配足夠的內在,併爲系統操做保留足夠的內存。

(16)默認狀況下,ElasticSearch使用0.0.0.0地址,併爲http傳輸開啓9200-9300端口,爲節點到節點的通訊開啓9300-9400端口,也能夠自行設置IP地址:

            network.bind_host: 192.168.0.1

(17)publish_host設置其餘節點鏈接此節點的地址,若是不設置的話,則自動獲取,publish_host的地址必須爲真實地址:

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host能夠一塊兒設置:

            network.host: 192.168.0.1

(19)能夠定製該節點與其餘節點交互的端口:

            transport.tcp.port: 9300

(20)節點間交互時,能夠設置是否壓縮,轉爲爲不壓縮:

            transport.tcp.compress: true

(21)能夠爲Http傳輸監聽定製端口:

            http.port: 9200

(22)設置內容的最大長度:

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)網關容許在全部集羣重啓後持有集羣狀態,集羣狀態的變動都會被保存下來,當第一次啓用集羣時,能夠從網關中讀取到狀態,默認網關類型(也是推薦的)是local:

            gateway.type: local

(25)容許在N個節點啓動後恢復過程:

            gateway.recover_after_nodes: 1

(26)設置初始化恢復過程的超時時間:

            gateway.recover_after_time: 5m

(27)設置該集羣中可存在的節點上限:

            gateway.expected_nodes: 2

(28)設置一個節點的併發數量,有兩種狀況,一種是在初始復甦過程當中:

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另外一種是在添加、刪除節點及調整時:

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)設置復甦時的吞吐量,默認狀況下是無限的:

            indices.recovery.max_size_per_sec: 0

(30)設置從對等節點恢復片斷時打開的流的數量上限:

            indices.recovery.concurrent_streams: 5

(31)設置一個集羣中主節點的數量,當多於三個節點時,該值可在2-4之間:

            discovery.zen.minimum_master_nodes: 1

(32)設置ping其餘節點時的超時時間,網絡比較慢時可將該值設大:

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。

(33)禁止當前節點發現多個集羣節點,默認值爲true:

            discovery.zen.ping.multicast.enabled: false

(34)設置新節點被啓動時可以發現的主節點列表:

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

六、elasticsearch集羣的簡單說明

單點與集羣的關係是依靠同一個主節點名稱和不一樣子節點名稱,不一樣端口號,不一樣ip做爲聯繫的介質,在配置文件中只須要在個別配置項配置多個不一樣ip和不一樣端口,而且同一個集羣名稱便可

七、工做中elasticsearch踩過的坑

(1)在個別業務場景下須要查詢大量的數據並展現出來,不管是http請求查詢也好仍是elasticsearch API查詢也好,當查詢大於1024條數據事基本都會遇到一個報錯;顯示查詢內容大於1024,這時須要在elasticsearch的配置文件中增長一個設置:

            index.query.bool.max_clause_count: 100000

(2)踩坑繼續補充中.............

相關文章
相關標籤/搜索