SolrCloud集羣

時間 2019-11-16

原文原文鏈接

1 SolrCloud簡介

1.1什麼是SolrCloud

　　SolrCloud(solr 雲)是 Solr 提供的分佈式搜索方案，當你須要大規模，容錯，分佈式索引和檢索能力時使用 SolrCloud。當一個系統的索引數據量少的時候是不須要使用 SolrCloud的，當索引量很大，搜索請求併發很高，這時須要使用 SolrCloud 來知足這些需求。java

　　SolrCloud 是基於 Solr 和Zookeeper的分佈式搜索方案，它的主要思想是使用 Zookeeper做爲集羣的配置信息中心。linux

　　它有幾個特點功能：web

　　　　1）集中式的配置信息spring

　　　　2）自動容錯apache

　　　　3）近實時搜索瀏覽器

　　　　4）查詢時自動負載均衡tomcat

1.2 SolrCloud系統架構　　

　　【1】物理結構服務器

　　　　三個 Solr 實例（每一個實例包括兩個 Core），組成一個 SolrCloud。架構

　　【2】邏輯結構併發

　　　　索引集合包括兩個 Shard（shard1 和 shard2），shard1 和 shard2 分別由三個 Core 組成，其中一個 Leader 兩個 Replication，Leader 是由 zookeeper 選舉產生，zookeeper 控制每一個shard上三個 Core 的索引數據一致，解決高可用問題。

　　　　用戶發起索引請求分別從 shard1 和 shard2 上獲取，解決高併發問題。

　　（1）Collection

　　　　Collection 在 SolrCloud 集羣中是一個邏輯意義上的完整的索引結構。它經常被劃分爲一個或多個 Shard（分片），它們使用相同的配置信息。

　　　　好比：針對商品信息搜索能夠建立一個 collection。

　　　　collection=shard1+shard2+....+shardX

　　（2） Core

　　　　每一個 Core 是 Solr 中一個獨立運行單位，提供索引和搜索服務。一個 shard 須要由一個Core 或多個 Core 組成。因爲 collection 由多個 shard 組成因此 collection 通常由多個 core 組成。

　　（3）Master 或 Slave

　　　　Master 是 master-slave 結構中的主結點（一般說主服務器），Slave 是 master-slave 結構中的從結點（一般說從服務器或備服務器）。同一個 Shard 下 master 和 slave 存儲的數據是一致的，這是爲了達到高可用目的。

　　（4）Shard

　　　　Collection 的邏輯分片。每一個 Shard 被化成一個或者多個 replication，經過選舉肯定哪一個是 Leader。

2 搭建SolrCloud

2.1搭建要求

　　Zookeeper 做爲集羣的管理工具

　　　　一、集羣管理：容錯、負載均衡。

　　　　二、配置文件的集中管理

　　　　三、集羣的入口

　　　　須要實現 zookeeper 高可用，須要搭建zookeeper集羣。建議是奇數節點。須要三個 zookeeper 服務器。

　　　　搭建 solr 集羣須要 7 臺服務器（搭建僞分佈式，建議虛擬機的內存 1G 以上）：

　　　　須要三個 zookeeper 節點

　　　　須要四個 tomcat 節點。

2.2準備工做

　　環境準備

　　　　CentOS-6.5-i386-bin-DVD1.iso

　　　　jdk-7u72-linux-i586.tar.gz

　　　　apache-tomcat-7.0.47.tar.gz

　　　　zookeeper-3.4.6.tar.gz

　　　　solr-4.10.3.tgz

　　步驟：

　　　　（1）搭建Zookeeper集羣（咱們在上一小節已經完成）

　　　　（2）將已經部署完solr 的tomcat的上傳到linux

　　　　（3）在linux中建立文件夾 /usr/local/solr-cloud 建立4個tomcat實例

[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-1
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-2
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-3
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-4

　　　　（4）將本地的solrhome上傳到linux

　　　　（5）在linux中建立文件夾 /usr/local/solrhomes ,將solrhome複製4份

[root@localhost ~]# mkdir /usr/local/solrhomes
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-1
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-2
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-3
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-4

　　　　（6）修改每一個solr的 web.xml 文件, 關聯solrhome（/usr/local/solr-cluster/tomcat-1/webapps/solr/WEB-INF/web.xml）

    <env-entry>
       <env-entry-name>solr/home</env-entry-name>
       <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
       <env-entry-type>java.lang.String</env-entry-type>
    </env-entry>

　　（7）修改每一個tomcat的原運行端口8005 8080 8009 ，分別爲

　　　　8105 8180 8109

　　　　8205 8280 8209

　　　　8305 8380 8309

　　　　8405 8480 8409

　　　　8005端口是用來關閉TOMCAT服務的端口。　　

　　　　8080端口，負責創建HTTP鏈接。在經過瀏覽器訪問Tomcat服務器的Web應用時，使用的就是這個鏈接器。

　　　　8009端口，負責和其餘的HTTP服務器創建鏈接。在把Tomcat與其餘HTTP服務器集成時，就須要用到這個鏈接器。

2.3配置集羣

　　（1）修改每一個 tomcat實例 bin 目錄下的 catalina.sh 文件

　　　　　　把此配置添加到catalina.sh中

　　　　　　JAVA_OPTS="-DzkHost=192.168.25.101:2181,192.168.25.101:2182,192.168.25.101:2183"

　　　　　　JAVA_OPTS ,顧名思義,是用來設置JVM相關運行參數的變量 . 此配置用於在tomcat啓動時找到 zookeeper集羣。

　　（2）配置 solrCloud 相關的配置。每一個 solrhome 下都有一個 solr.xml，把其中的 ip 及端口號配置好（是對應的tomcat的IP和端口）。

　　　　　solrhomes/solrhome-1/solr.xml

 <solrcloud>
    <str name="host">192.168.25.101</str>
    <int name="hostPort">8180</int>
    <str name="hostContext">${hostContext:solr}</str>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
  </solrcloud>

　　　　solrhomes/solrhome-2/solr.xml

  <solrcloud>
    <str name="host">192.168.25.101</str>
    <int name="hostPort">8280</int>
    <str name="hostContext">${hostContext:solr}</str>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
  </solrcloud>

　　　　solrhomes/solrhome-3/solr.xml

 <solrcloud>
    <str name="host">192.168.25.101</str>
    <int name="hostPort">8380</int>
    <str name="hostContext">${hostContext:solr}</str>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
  </solrcloud>

　　　　solrhomes/solrhome-4/solr.xml

 <solrcloud>
    <str name="host">192.168.25.101</str>
    <int name="hostPort">8480</int>
    <str name="hostContext">${hostContext:solr}</str>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
  </solrcloud>

　　（3）讓 zookeeper 統一管理配置文件。

　　　　　　須要上傳solr源碼包中的zkcli.sh

　　　　　　1.上傳solr-4.10.3.tgz.tgz

　　　　　　2.解壓： tar -zxvf solr-4.10.3.tgz.tgz

　　　　　　3.找到/usr/local/solr-4.10.3/example/scripts/cloud-scripts目錄下

　　　　　　4.輸入命令：

./zkcli.sh -zkhost 192.168.25.101:2181,192.168.25.101:2182,192.168.25.101:2183 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf

　　　　　　參數解釋

　　　　　　　　-zkhost ：指定zookeeper地址列表

　　　　　　　　-cmd ：指定命令。upconfig 爲上傳配置的命令

　　　　　　　　-confdir : 配置文件所在目錄

　　　　　　　　-confname : 配置名稱

2.4啓動集羣

　　（1）啓動每一個 tomcat 實例。要保證 zookeeper 集羣是啓動狀態。

　　　　進入　/usr/local/solr-cluster/tomcat-1/bin 目錄

　　　　　執行：（發現權限不夠：回到/usr/local下給solr-cluster/受權：執行：chmod -R 777 solr-cluster） ./startup.sh

　　　　　依次將四個tomcat所有啓動

　　　　　(注意在拷貝文件的時候，建議等幾秒，否則可能考不完，發生項目缺乏jar，或者文件致使啓動失敗)　

　　地址欄輸入：http://192.168.25.101:8180/solr/#/ 左側有一個cloud表名集羣ok了

3 代碼鏈接集羣

　　1.將以前的單機版註解掉，使用新的：

　　　　在SolrJ中提供一個叫作CloudSolrServer的類，它是SolrServer的子類，用於鏈接solrCloud

　　　　它的構造參數就是zookeeper的地址列表，另外它要求要指定defaultCollection屬性（默認的 collection名稱）

　　　　咱們如今修改springDataSolrDemo工程的配置文件，把原來的solr-server註銷，替換爲CloudSolrServer .指定構造參數爲地址列表，設置默認 collection名稱

　　<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
        <constructor-arg value="192.168.25.140:2181,192.168.25.140:2182,192.168.25.140:2183" />
        <property name="defaultCollection" value="collection1"></property>
    </bean>

　　2.使用mavenProfile方式修改打包類型

　　　　solr.xml修改配置以下：

　　 <!-- solr服務器地址 -->
    <solr:solr-server id="solrServer_dev" url="http://127.0.0.1:8080/solr" />
    <bean id="solrServer_pro" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
        <constructor-arg value="192.168.25.101:2181,192.168.25.101:2182,192.168.25.101:2183" />
        <property name="defaultCollection" value="collection1"></property>
    </bean>
    <!-- solr模板，使用solr模板可對索引庫進行CRUD的操做 -->
    <bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
        <constructor-arg ref="solrServer_${env}" />
    </bean>

　　　　pom新增以下：

　　<properties>
        <env>dev</env>
    </properties>
    <profiles>
        <profile>
            <id>dev</id>
            <properties>
                <env>dev</env>
            </properties>
        </profile>
        <profile>
            <id>pro</id>
            <properties>
                <env>pro</env>
            </properties>
        </profile>
    </profiles>

　　在pom文件中build新增：

　　　　　　<resources>
            <resource>
                <directory>src/main/resources</directory>
                <filtering>true</filtering>
            </resource>
        </resources>

4 分片配置

　　1 建立新的 Collection 進行分片處理。

　　　　在瀏覽器輸入如下地址，能夠按照咱們的要求建立新的Collection

http://192.168.25.101:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

　　　　參數：

　　　　　　name:將被建立的集合的名字
　　　　　　numShards:集合建立時須要建立邏輯碎片的個數
　　　　　　replicationFactor:分片的副本數。

　　　　　　看到這個提示表示成功

　　2刪除不用的 Collection。執行如下命令

http://192.168.25.101:8480/solr/admin/collections?action=DELETE&name=collection1

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。