solrcloud集羣版的搭建

說在前面的話

以前咱們瞭解到了solr的搭建，咱們的solr是搭建在tomcat上面的，因爲tomcat並不能過多的承受訪問的壓力，所以就帶來了solrcloud的時代。也就是solr集羣。
本次配置solrCloud須要的環境:
配置好的單機solr(更方便)
已安裝jdk的linux服務器一臺
下載連接

1、什麼是SolrCloud

SolrCloud(solr 雲)是Solr提供的分佈式搜索方案，當你須要大規模，容錯，分佈式索引和檢索能力時使用 SolrCloud。當一個系統的索引數據量少的時候是不須要使用SolrCloud的，當索引量很大，搜索請求併發很高，這時須要使用SolrCloud來知足這些需求。
SolrCloud是基於Solr和Zookeeper的分佈式搜索方案，它的主要思想是使用Zookeeper做爲集羣的配置信息中心。
它有幾個特點功能：
1）集中式的配置信息
2）自動容錯
3）近實時搜索
4）查詢時自動負載均衡

結構解析:
從物理結構上解析:
配置一個SolrCloud集羣(實際上就是多個solr),圖上是3個solr服務器,而後每一個solr服務裏面都有一個core(就是collection1（默認）、collection二、)，咱們用它去存放一部分數據（也就是把數據分片），此時咱們不把它叫作collection，而叫作core，由於collection通常表示總的索引庫。而咱們在裏面存放的是部分數據。所以爲了避免讓咱們概念混淆，起名爲core，（在單機版由於一個collection就是i一個索引庫，因此就很正常了）。三個solr服務，每一個服務上有2個core，所以一共有6個core。
從邏輯結構解析：
一個大大的索引庫，也就是一個大的collection。咱們把其中的數據分紅2片，分爲起名爲：shard一、shard2。其中的數據不一樣。每個shard有三個core，這三個core實現了一主兩備，數據都是同樣的。充分的解決了高併發的問題

上圖解析完了，那麼咱們再來看看詞彙解釋：
物理結構
三個Solr實例（ 每一個實例包括兩個Core），組成一個SolrCloud。

邏輯結構
索引集合包括兩個Shard（shard1和shard2），shard1和shard2分別由三個Core組成，其中一個Leader兩個Replication，Leader是由zookeeper選舉產生，zookeeper控制每一個shard上三個Core的索引數據一致，解決高可用問題。
用戶發起索引請求分別從shard1和shard2上獲取，解決高併發問題。

collection
Collection在SolrCloud集羣中是一個邏輯意義上的完整的索引結構。它經常被劃分爲一個或多個Shard（分片），它們使用相同的配置信息。
好比：針對商品信息搜索能夠建立一個collection。
collection=shard1+shard2+…+shardX

Core
每一個Core是Solr中一個獨立運行單位，提供 索引和搜索服務。一個shard須要由一個Core或多個Core組成。因爲collection由多個shard組成因此collection通常由多個core組成。
Master或Slave
Master是master-slave結構中的主結點（一般說主服務器），Slave是master-slave結構中的從結點（一般說從服務器或備服務器）。同一個Shard下master和slave存儲的數據是一致的，這是爲了達到高可用目的。
Shard
Collection的邏輯分片。每一個Shard被化成一個或者多個replication，經過選舉肯定哪一個是Leader。
看完上面的結構圖了以後，本身的心中是否是有點收穫呢，那麼咱們再來看看項目中的架構圖吧。但願你們看圖以後就能明白其中的原理

正如上面所說，咱們不可能直接與solrcloud相鏈接，必須經過一個橋樑去管理他。這裏咱們用的是zookeeper，對於zookeeper，咱們你們可能都不陌生了，由於咱們在說dubbo的時候，zookeeper當時在dubbo做爲註冊中心，那時候咱們就瞭解了一下他的搭建和應用。**這裏咱們主要是利用zookeeper管理咱們solr的集羣。**那時候咱們用的是單機版，這裏呢咱們的solr服務都用集羣版了，萬一zookeeper掛了，那不也沒用了麼？所以咱們這裏把zookeeper也搭建成集羣版。
估計小夥伴們都看出來了，此時咱們須要7臺服務器，4臺服務器安裝solr，3檯安裝zookeeper，充分的解決高併發的問題。
咱們把索引庫分紅兩片，而後每片對應着兩臺solr服務器。實現了一主一備。

2、搭建SolrCloud

正如小夥伴們看到須要7臺服務器，但是咱們沒有7臺服務器怎麼辦呢，有的小夥伴說用虛擬機。好，行咱們用7臺虛擬機，行了，那你搭建吧。我電腦配置不行，運行不了7臺、、、
因此就搭建一臺僞服務器，把全部的zookeeper和solr都搭建到一臺服務器上，利用端口的不一樣進行通訊鏈接。

a、搭建zookeeper集羣

首先咱們須要先搭建zookeeper集羣，咱們先把zookeeper上傳到服務器上。
Zookeeper做爲集羣的管理工具。
一、集羣管理：容錯、負載均衡。
二、配置文件的集中管理
三、集羣的入口
須要實現zookeeper 高可用。須要搭建集羣。建議是奇數節點。須要三個zookeeper服務器。
由於zookeeper是利用投票選舉的方式選擇leader和

第一步：須要安裝jdk環境。

第二步：把zookeeper的壓縮包上傳到服務器。
第三步：解壓縮。
第四步：把zookeeper複製三份。
[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solrcloud/zookeeper01
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solrcloud/zookeeper02
[root@localhost ~]# cp -r zookeeper-3.4.6 /usr/local/solrcloud/zookeeper03

第五步：在每一個zookeeper目錄下建立一個data目錄。
第六步：在data目錄下建立一個myid文件，文件名就叫作「myid」。內容就是每一個實例的id。例如一、二、3
[root@localhost data]# echo 1 >> myid
[root@localhost data]# ll
total 4
-rw-r–r--. 1 root root 2 Apr 7 18:23 myid
[root@localhost data]# cat myid

第七步：修改配置文件。把conf目錄下的zoo_sample.cfg文件更名爲zoo.cfg

一、datadir=你設置的myid所在的文件夾
二、端口號修改（僞分佈式才須要改）
三、集羣的ip地址
server.1=192.168.25.111:2881:3881
server.2=192.168.25.111:2882:3882
server.3=192.168.25.111:2883:3883
:2881表明投票發送信息的.
:3881表明投票接收信息的.
vim zoo.conf(1)2182,
vim zoo.conf(2)2183,
vim zoo.conf(3)2184,

…
第八步：啓動每一個zookeeper實例。
啓動bin/zkServer.sh start
可使用 批處理文件開啓zookeeper

cd zookeeper01/bin/
./zkServer.sh start
cd ../..
cd zookeeper02/bin/
./zkServer.sh start
cd ../..
cd zookeeper03/bin/
./zkServer.sh start
cd ../..

查看zookeeper的狀態：
bin/zkServer.sh status

3、Solr集羣的搭建

第一步：建立四個tomcat實例。每一個tomcat運行在不一樣的端口。
配置tomcat的端口號8180、8280、8380、8480


啓動端口 8081 8082 8083 8084

第二步：部署solr的war包。把單機版的solr工程複製到集羣中的tomcat中。

第三步：爲每一個solr實例建立一個對應的solrhome。使用單機版的solrhome複製四份。

第四步：須要修改solr的web.xml文件。把solrhome關聯起來。


第五步：配置solrCloud相關的配置。每一個solrhome下都有一個solr.xml，把其中的ip及端口號配置好。


第六步：修改tomcat/bin目錄下的catalina.sh 文件，關聯solr和zookeeper。
把此配置添加到配置文件中：
2182 8183 8184是zookeeper的配置文件zoo.conf裏面配置的。表示鏈接zookeeper的端口號

JAVA_OPTS="-DzkHost=192.168.25.111:2182,192.168.25.111:2183,192.168.25.111:2184"

第七步：讓zookeeper統一管理配置文件。須要把solrhome/collection1/conf目錄上傳到zookeeper。上傳任意solrhome中的配置文件便可。
使用工具上傳配置文件：/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

./zkcli.sh -zkhost 192.168.25.111:2182,192.168.25.111:2183,192.168.25.111:2184 -cmd upconfig -confdir /usr/local/solrcloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：
使用zookeeper目錄下的bin/zkCli.sh命令查看zookeeper上的配置文件：

[root@localhost bin]#
使用如下命令鏈接指定的zookeeper服務：
./zkCli.sh -server 192.168.25.111:2183


如上圖，把solrhome中的collection1裏的conf上傳到zookeeper中了

第八步：啓動每一個tomcat實例。要包裝zookeeper集羣是啓動狀態。
使用批處理文件啓動每個tomcat實例。

cd tomcat8081/bin/
./startup.sh
cd ../..
cd tomcat8082/bin/
./startup.sh
cd ../..
cd tomcat8083/bin/
./startup.sh
cd ../..
cd tomcat8084/bin/
./startup.sh
cd ../..

第九步：訪問集羣
192.168.25.111:8081/solr

剛搭建好的collection索引庫是一片,也就是一主三備

而後咱們經過在瀏覽器上輸入URL地址進行建立新的索引庫(符合咱們項目要求的.)
建立新的Collection進行分片處理。
http://192.168.25.111:8081/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
刪除不用的Collection。
http://192.168.25.111:8081/solr/admin/collections?action=DELETE&name=collection1
咱們先把collection1刪除,而後再添加新的索引庫collection1.


到這裏咱們的solr集羣版就搭建完成了. 本文講解的很詳細,但願能夠給您帶來不一樣之處,若是您有問題,歡迎下方評論,博主看到後會第一時間回覆你們.