elasticsearch使用筆記

安裝流程

    http://www.elasticsearch.org/overview/elkdownloads/下載對應系統的安裝包（我下載的是tar的），下載解壓之後運行es根目錄下bin目錄的elasticsearch命令（無需配置直接啓動），啓動後若是能看到相似於下面狀況的大量的「INFO」信息。

(O_O)~/software/elasticsearch/elasticsearch-1.4.0/bin(O_O)./elasticsearch

[2014-11-17 10:48:15,563][INFO ][node                     ] [bf1] version[1.4.0], pid[21187], build[bc94bd8/2014-11-05T14:26:12Z]
[2014-11-17 10:48:15,563][INFO ][node                     ] [bf1] initializing ...
[2014-11-17 10:48:15,630][INFO ][plugins                  ] [bf1] loaded [], sites [head]
Java HotSpot(TM) Client VM warning: You have loaded library /home/bf/software/elasticsearch/elasticsearch-1.4.0/lib/sigar/libsigar-x86-linux.so which might have disabled stack guard. The VM will try to fix the stack guard now.
It's highly recommended that you fix the library with 'execstack -c <libfile>', or link it with '-z noexecstack'.
[2014-11-17 10:48:20,950][INFO ][node                     ] [bf1] initialized
[2014-11-17 10:48:20,950][INFO ][node                     ] [bf1] starting ...
[2014-11-17 10:48:21,128][INFO ][transport                ] [bf1] bound_address {inet[/0:0:0:0:0:0:0:0:9300]}, publish_address {inet[/192.168.1.41:9300]}
[2014-11-17 10:48:21,169][INFO ][discovery                ] [bf1] baifan/umHszDJERCqepk1knkERFw
[2014-11-17 10:48:24,969][INFO ][cluster.service          ] [bf1] new_master [bf1][umHszDJERCqepk1knkERFw][bf][inet[/192.168.1.41:9300]]{master=true}, reason: zen-disco-join (elected_as_master)
[2014-11-17 10:48:25,028][INFO ][http                     ] [bf1] bound_address {inet[/0:0:0:0:0:0:0:0:9200]}, publish_address {inet[/192.168.1.41:9200]}
[2014-11-17 10:48:25,028][INFO ][node                     ] [bf1] started
[2014-11-17 10:48:25,886][INFO ][gateway                  ] [bf1] recovered [4] indices into cluster_state

 

elasticsearch服務端默認端口爲9200，啓動之後能夠在瀏覽器地址欄輸入http://localhost:9200/後會返回一個json信息，相似於下面這樣，status等於200則說明啓動成功。bf1是我本身設置的當前機器節點名（node.name），cluster_name爲baifan，這些都是我本身設置的，elasticsearch自己有默認配置，若是僅僅是測試和了解，能夠不設。

{
  "status" : 200,
  "name" : "bf1",
  "cluster_name" : "baifan",
  "version" : {
    "number" : "1.4.0",
    "build_hash" : "bc94bd81298f81c656893ab1ddddd30a99356066",
    "build_timestamp" : "2014-11-05T14:26:12Z",
    "build_snapshot" : false,
    "lucene_version" : "4.10.2"
  },
  "tagline" : "You Know, for Search"
}

配置文件詳解

配置文件位於es根目錄的config目錄下面，有elasticsearch.yml和logging.yml兩個配置，主配置文件是elasticsearch.yml，日誌配置文件是logging.yml，elasticsearch調用log4j記錄日誌，因此日誌的配置文件能夠按照默認的設置，我來介紹下elasticsearch.yml裏面的選項。

cluster.name: elasticsearch
配置的集羣名稱，默認是elasticsearch，es服務會經過廣播方式自動鏈接在同一網段下的es服務，經過多播方式進行通訊，同一網段下能夠有多個集羣，經過集羣名稱這個屬性來區分不一樣的集羣。

 

node.name: "Franz Kafka"
當前配置所在機器的節點名，你不設置就默認隨機指定一個name列表中名字，該name列表在es的jar包中config文件夾裏name.txt文件中，其中有不少做者添加的有趣名字。

 

node.master: true
指定該節點是否有資格被選舉成爲node（注意這裏只是設置成有資格， 不表明該node必定就是master），默認是true，es是默認集羣中的第一臺機器爲master，若是這臺機掛了就會從新選舉master。

 

node.data: true
指定該節點是否存儲索引數據，默認爲true。

 

index.number_of_shards: 5
設置默認索引分片個數，默認爲5片。

 

index.number_of_replicas: 1
設置默認索引副本個數，默認爲1個副本。若是採用默認設置，而你集羣只配置了一臺機器，那麼集羣的健康度爲yellow，也就是全部的數據都是可用的，可是某些複製沒有被分配（

健康度可用 curl 'localhost:9200/_cat/health?v' 查看， 分爲綠色、黃色或紅色。綠色表明一切正常，集羣功能齊全，黃色意味着全部的數據都是可用的，可是某些複製沒有被分配，紅色則表明由於某些緣由，某些數據不可用）。

 

path.conf: /path/to/conf
設置配置文件的存儲路徑，默認是es根目錄下的config文件夾。

 

path.data: /path/to/data
設置索引數據的存儲路徑，默認是es根目錄下的data文件夾，能夠設置多個存儲路徑，用逗號隔開，例：

path.data: /path/to/data1,/path/to/data2

 

path.work: /path/to/work
設置臨時文件的存儲路徑，默認是es根目錄下的work文件夾。

 

path.logs: /path/to/logs
設置日誌文件的存儲路徑，默認是es根目錄下的logs文件夾

 

path.plugins: /path/to/plugins
設置插件的存放路徑，默認是es根目錄下的plugins文件夾, 插件在es裏面廣泛使用，用來加強原系統核心功能。

 

bootstrap.mlockall: true
設置爲true來鎖住內存不進行swapping。由於當jvm開始swapping時es的效率 會下降，因此要保證它不swap，能夠把ES_MIN_MEM和ES_MAX_MEM兩個環境變量設置成同一個值，而且保證機器有足夠的內存分配給es。 同時也要容許elasticsearch的進程能夠鎖住內存，linux下啓動es以前能夠經過`ulimit -l unlimited`命令設置。

 

network.bind_host: 192.168.0.1
設置綁定的ip地址，能夠是ipv4或ipv6的，默認爲0.0.0.0，綁定這臺機器的任何一個ip。

network.publish_host: 192.168.0.1
設置其它節點和該節點交互的ip地址，若是不設置它會自動判斷，值必須是個真實的ip地址。

 

network.host: 192.168.0.1
這個參數是用來同時設置bind_host和publish_host上面兩個參數。

 

transport.tcp.port: 9300
設置節點之間交互的tcp端口，默認是9300。

 

transport.tcp.compress: true
設置是否壓縮tcp傳輸時的數據，默認爲false，不壓縮。

 

http.port: 9200
設置對外服務的http端口，默認爲9200。

 

http.max_content_length: 100mb
設置內容的最大容量，默認100mb

 

http.enabled: false
是否使用http協議對外提供服務，默認爲true，開啓。

 

gateway.type: local
gateway的類型，默認爲local即爲本地文件系統，能夠設置爲本地文件系統，分佈式文件系統，hadoop的HDFS，和amazon的s3服務器等。

 

gateway.recover_after_nodes: 1
設置集羣中N個節點啓動時進行數據恢復，默認爲1。

 

gateway.recover_after_time: 5m
設置初始化數據恢復進程的超時時間，默認是5分鐘。

 

gateway.expected_nodes: 2
設置這個集羣中節點的數量，默認爲2，一旦這N個節點啓動，就會當即進行數據恢復。

 

cluster.routing.allocation.node_initial_primaries_recoveries: 4
初始化數據恢復時，併發恢復線程的個數，默認爲4。

 

cluster.routing.allocation.node_concurrent_recoveries: 2
添加刪除節點或負載均衡時併發恢復線程的個數，默認爲4。

 

indices.recovery.max_size_per_sec: 0
設置數據恢復時限制的帶寬，如入100mb，默認爲0，即無限制。

 

indices.recovery.concurrent_streams: 5
設置這個參數來限制從其它分片恢復數據時最大同時打開併發流的個數，默認爲5。

 

discovery.zen.minimum_master_nodes: 1
設置這個參數來保證集羣中的節點能夠知道其它N個有master資格的節點。默認爲1，對於大的集羣來講，能夠設置大一點的值（2-4）

 

discovery.zen.ping.timeout: 3s
設置集羣中自動發現其它節點時ping鏈接超時時間，默認爲3秒，對於比較差的網絡環境能夠高點的值來防止自動發現時出錯。

 

discovery.zen.ping.multicast.enabled: false
設置是否打開多播發現節點，默認是true。

 

discovery.zen.ping.unicast.hosts: ["host1", "host2:port", "host3[portX-portY]"]
設置集羣中master節點的初始列表，能夠經過這些節點來自動發現新加入集羣的節點。

 基本操做

設置集羣中master節點的初始列表，能夠經過這些節點來自動發現新加入集羣的節點。