ElasticSearch2.3.3離線搭建(windows+Linux)

一、ElasticSearch介紹

ElasticSearch 是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch 是用Java開發的，並做爲Apache許可條款下的開放源碼發佈，是當前流行的企業級搜索引擎。設計用於雲計算中，可以達到實時搜索，穩定，可靠，快速，安裝使用方便。

咱們創建一個網站或應用程序，並要添加搜索功能，可是想要完成搜索工做的建立是很是困難的。咱們但願搜索解決方案要運行速度快，咱們但願能有一個零配置和一個徹底免費的搜索模式，咱們但願可以簡單地使用JSON經過HTTP來索引數據，咱們但願咱們的搜索服務器始終可用，咱們但願可以從一臺開始並擴展到數百臺，咱們要實時搜索，咱們要簡單的多租戶，咱們但願創建一個雲的解決方案。所以咱們利用Elasticsearch 來解決全部這些問題以及可能出現的更多其它問題。

二、ElasticSearch優勢

便於安裝支持多平臺：Linux，Windows等

便於開發支持多語言：Java，Python，PHP等

查詢速度快，使用於大量數據查詢

支持分詞系統和聚合分析等多種功能

三、window和Linux

提示：以elasticsearch-2.3.3爲例，不管是Windows仍是Linux在配置elasticsearch.yml文件時對其中的配置項保持嚴格的縮進，不然啓動可能報錯

而且當前安裝elasticsearch版本較低，後續版本可能與此不一樣可是萬變不離其宗。

3.一、Windows搭建ElasticSearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓

(2)進入elasticsearch-2.3.3目錄下的conf下

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件中的network.host選項爲本身本地的ip地址

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下雙擊啓動elasticsearch.bat該文件便可

3.二、Linux搭建elasticsearch

(1)將下載好的elasticsearch-2.3.3.zip包解壓

(2)進入elasticsearch-2.3.3目錄下的conf下

(3)修改elasticsearch.yml(詳細介紹見文章結尾)配置文件

cluster.name:英文集羣名稱 
node.name: 英文節點名稱
path.data: 數據存放位置
path.logs:日誌存放位置
network.host:主節點ip地址
transport.tcp.port: tcp端口通常使用9300
http.port: web訪問端口通常使用9200

 

(4)在此返回到elasticsearch-2.3.3目錄下並進入到bin目錄下執行./elasticsearch便可，後臺執行需在後面加上-d

四、安裝head，kopf，elasticsearch-sql可視化插件等

4.一、查看elasticsearch-2.3.3目錄下是否含有plugins改目錄，若是沒有則須要手動建立

4.二、將head.zip解壓至plugins目錄下按照以上步驟從新啓動便可

訪問地址：http://ip:9200/_plugin/head/

同理kopf和elasticsearch-sql安裝

特殊說明：只有elasticsearch-sql插件只能查詢而且能夠將sql轉爲elasticsearch聚合語句；而kopf和head既能夠作查詢又能夠作增、刪、改

head插件展現效果圖

 

kopf插件展現效果圖

 

elasticsearch-sql插件展現效果圖

五、關於elasticsearch.yml配置詳解

(1)集羣名稱，默認爲elasticsearch

            cluster.name:elasticsearch

(2)節點名稱，es啓動時會自動建立節點名稱，但你也可進行配置

            node.name: "node1"

(3)是否做爲主節點，每一個節點均可以被配置成爲主節點，默認值爲true

            node.master: true

(4)是否存儲數據，即存儲索引片斷，默認值爲true

            node.data: true

            {master和data同時配置會產生一些奇異的效果：

            1) 當master爲false，而data爲true時，會對該節點產生嚴重負荷；

            2) 當master爲true，而data爲false時，該節點做爲一個協調者；

            3) 當master爲false，data也爲false時，該節點就變成了一個負載均衡器。}

(5)每一個節點均可以定義一些與之關聯的通用屬性，用於後期集羣進行碎片分配時的過濾

             node.rack: rack1

(6)默認狀況下，多個節點能夠在同一個安裝路徑啓動，若是你想讓你的es只啓動一個節點，能夠進行以下設置

            node.max_local_storage_nodes: 1

(7)設置一個索引的碎片數量，默認值爲5

            index.number_of_shards: 5

(8)設置一個索引可被複制的數量，默認值爲1

            index.number_of_replicas: 1

(9)配置文件所在的位置，即elasticsearch.yml和logging.yml所在的位置

            path.conf: /path/to/conf

(10) 分配給當前節點的索引數據所在的位置：

            path.data: /path/to/data

(11) 臨時文件位置：

            path.work: /path/to/work

(12)日誌文件所在位置：

            path.logs: /path/to/logs

(13) 插件安裝位置：

            path.plugins: /path/to/plugins

(14) 插件託管位置，若列表中的某一個插件未安裝，則節點沒法啓動：

            plugin.mandatory: mapper-attachments,lang-groovy

(15) JVM開始交換時，ElasticSearch表現並很差：你須要保障JVM不進行交換，能夠將bootstrap.mlockall設置爲true禁止交換：

            bootstrap.mlockall: true

            請確保ES_MIN_MEM和ES_MAX_MEM的值是同樣的，而且可以爲ElasticSearch分配足夠的內在，併爲系統操做保留足夠的內存。

(16)默認狀況下，ElasticSearch使用0.0.0.0地址，併爲http傳輸開啓9200-9300端口，爲節點到節點的通訊開啓9300-9400端口，也能夠自行設置IP地址：

            network.bind_host: 192.168.0.1

(17)publish_host設置其餘節點鏈接此節點的地址，若是不設置的話，則自動獲取，publish_host的地址必須爲真實地址：

            network.publish_host: 192.168.0.1

(18)bind_host和publish_host能夠一塊兒設置：

            network.host: 192.168.0.1

(19)能夠定製該節點與其餘節點交互的端口：

            transport.tcp.port: 9300

(20)節點間交互時，能夠設置是否壓縮，轉爲爲不壓縮：

            transport.tcp.compress: true

(21)能夠爲Http傳輸監聽定製端口：

            http.port: 9200

(22)設置內容的最大長度：

            http.max_content_length: 100mb

(23)禁止HTTP

            http.enabled: false

(24)網關容許在全部集羣重啓後持有集羣狀態，集羣狀態的變動都會被保存下來，當第一次啓用集羣時，能夠從網關中讀取到狀態，默認網關類型（也是推薦的）是local：

            gateway.type: local

(25)容許在N個節點啓動後恢復過程：

            gateway.recover_after_nodes: 1

(26)設置初始化恢復過程的超時時間：

            gateway.recover_after_time: 5m

(27)設置該集羣中可存在的節點上限：

            gateway.expected_nodes: 2

(28)設置一個節點的併發數量，有兩種狀況，一種是在初始復甦過程當中：

            cluster.routing.allocation.node_initial_primaries_recoveries: 4

            另外一種是在添加、刪除節點及調整時：

            cluster.routing.allocation.node_concurrent_recoveries: 2

(29)設置復甦時的吞吐量，默認狀況下是無限的：

            indices.recovery.max_size_per_sec: 0

(30)設置從對等節點恢復片斷時打開的流的數量上限：

            indices.recovery.concurrent_streams: 5

(31)設置一個集羣中主節點的數量，當多於三個節點時，該值可在2-4之間：

            discovery.zen.minimum_master_nodes: 1

(32)設置ping其餘節點時的超時時間，網絡比較慢時可將該值設大：

            discovery.zen.ping.timeout: 3s

            http://elasticsearch.org/guide/reference/modules/discovery/zen.html上有更多關於discovery的設置。

(33)禁止當前節點發現多個集羣節點，默認值爲true：

            discovery.zen.ping.multicast.enabled: false

(34)設置新節點被啓動時可以發現的主節點列表：

            discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]

六、elasticsearch集羣的簡單說明

單點與集羣的關係是依靠同一個主節點名稱和不一樣子節點名稱，不一樣端口號，不一樣ip做爲聯繫的介質，在配置文件中只須要在個別配置項配置多個不一樣ip和不一樣端口，而且同一個集羣名稱便可

七、工做中elasticsearch踩過的坑

(1)在個別業務場景下須要查詢大量的數據並展現出來，不管是http請求查詢也好仍是elasticsearch API查詢也好，當查詢大於1024條數據事基本都會遇到一個報錯；顯示查詢內容大於1024，這時須要在elasticsearch的配置文件中增長一個設置:

            index.query.bool.max_clause_count: 100000

(2)踩坑繼續補充中.............