solr集羣的搭建教程和使用入門

1 什麼是SolrCloud?

            SolrCloud(solr 雲)是Solr提供的分佈式搜索方案，當你須要大規模，容錯，分佈式索引和檢索能力時使用 SolrCloud。

當一個系統的索引數據量少的時候是不須要使用SolrCloud的，當索引量很大，搜索請求併發很高，這時須要使用SolrCloud來知足這些需求。

           SolrCloud是基於Solr和Zookeeper的分佈式搜索方案，它的主要思想是使用Zookeeper做爲集羣的配置信息中心。

它有幾個特點功能：

1）集中式的配置信息

2）自動容錯

3）近實時搜索

4）查詢時自動負載均衡

2 Solr集羣的系統架構

 

1 物理結構

  三個Solr實例（ 每一個實例包括兩個Core），組成一個SolrCloud。

2 邏輯結構

索引集合包括兩個Shard（shard1和shard2），shard1和shard2分別由三個Core組成，

其中一個Leader兩個Replication，Leader是由zookeeper選舉產生，zookeeper控制

每一個shard上三個Core的索引數據一致，解決高可用問題。
用戶發起索引請求分別從shard1和shard2上獲取，解決高併發問題。

 

collection
Collection在SolrCloud集羣中是一個邏輯意義上的完整的索引結構。它經常被劃分爲一個或多個Shard（分片），它們使用相同的配置信息。
好比：針對商品信息搜索能夠建立一個collection。
collection=shard1+shard2+....+shardX

Core
每一個Core是Solr中一個獨立運行單位，提供 索引和搜索服務。一個shard須要由一個Core或多個Core組成。因爲collection由多個shard組成因此collection通常由多個core組成。
Master或Slave
Master是master-slave結構中的主結點（一般說主服務器），Slave是master-slave結構中的從結點（一般說從服務器或備服務器）。同一個Shard下master和slave存儲的數據是一致的，這是爲了達到高可用目的。

Shard
Collection的邏輯分片。每一個Shard被化成一個或者多個replication，經過選舉肯定哪一個是Leader。

 

3  須要實現的solr集羣架構

Zookeeper做爲集羣的管理工具。
一、集羣管理：容錯、負載均衡。
二、配置文件的集中管理
三、集羣的入口

須要實現zookeeper 高可用。須要搭建集羣。建議是奇數節點。須要三個zookeeper服務器。

搭建solr集羣須要7臺服務器。

搭建僞分佈式：
須要三個zookeeper節點
須要四個tomcat節點。

建議虛擬機的內容1G以上。

4 環境準備

CentOS-6.5-i386-bin-DVD1.iso
jdk-7u72-linux-i586.tar.gz
apache-tomcat-7.0.47.tar.gz
zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz

5 安裝單機版Zookeeper

參照教程：http://www.cnblogs.com/jepson6669/p/9094101.html

1 上傳文件到Linux上
2 解壓到/usr/local目錄下
3.進入zookeeper目錄，建立data文件夾
4.進入conf目錄把zoo_sample.cfg 更名爲zoo.cfg.

5.進入zoo.cfg修改快照保存的目錄爲上面建立的data目錄

dataDir=/usr/local/solr-cloud/zookeeper01/data

6  Zookeeper集羣搭建

第一步：須要安裝jdk環境。

沒有安裝的能夠參考教程：http://www.cnblogs.com/jepson6669/p/8374699.html

 

第二步：在/usr/local/建立目錄solr-cloud

 

第三步：將第5部分中安裝的單機版zookeeper,複製三分到solr-cloud目錄下，分別爲zookeeper01，zookeeper02，zookeeper03

# cp -r zookeeper-3.4.6/ /usr/local/solr-cloud/zookeeper02 # cp -r zookeeper-3.4.6/ /usr/local/solr-cloud/zookeeper02 # cp -r zookeeper-3.4.6/ /usr/local/solr-cloud/zookeeper03

 

第四步：在zookeeper01，zookeeper02，zookeeper03的目錄下的data目錄中分別建立myid文件，

內容就是每一個實例的id。例如一、二、3

# echo 1 > ./zookeeper01/data/myid # echo 2 > ./zookeeper02/data/myid # echo 3 > ./zookeeper03/data/myid

 使用echo命令建立文件

# echo 2 > myid 建立一個文件名叫myid 的文件內容爲2

第五步：修改zookeeper01,zookeeper02,zookeeper03的zoo.cfg文件。

1.修改數據保存的目錄

2.修改客戶端鏈接zookeeper的端口號

3.添加集羣中的節點列表

下面是zookeeper01/conf/zoo.cfg實例。

 

 第六步：啓動三個zookeeper實例，修改編寫一個批處理腳本，啓動以後須要等待一會，而後在查看狀態。

 查看服務的狀態一樣能夠寫一個批處理腳本

 能夠看到狀態以下：

7 Solr集羣的搭建

【說明：由於第一次安裝失敗了，筆記是兩次安裝綜合到一塊兒的，因此ip地址有的地方是192.128.25.128

有的地方又是192.168.25.130】

第一步：建立四個tomcat實例。直接複製tomcat 四分到/usr/local/solr-cloud/目錄下，分別命名爲tomcat01,tomcat02,tomcat03,tomcat04.

第二步：往四個tomcat實例裏面部署solr實例。這裏直接使用以前單機版配置好的solr

單機版的solr搭建能夠參考：http://www.cnblogs.com/jepson6669/p/9053880.html

 

第三步：修改四個tomcat實例的端口號8180，8280，8380，8480

下面給出tomcat01的修改示例：

其它三個tomcat的修改依次類推。

 

 第四步：爲每一個solr實例建立一個對應的solrhome。使用單機版的solrhome複製四份。

 

第五步：須要修改solr的web.xml文件。把solrhome關聯起來。

以tomcat02爲例：

 

第六步：配置solrCloud相關的配置。每一個solrhome下都有一個solr.xml，把其中的ip及端口號配置好。

 

第七步：修改tomcat/bin目錄下的catalina.sh 文件，關聯solr和zookeeper

把此配置添加到配置文件中：
JAVA_OPTS="-DzkHost=192.168.25.128:2181,192.168.25.128:2182,192.168.25.128:2183"

四個tomcat實例都須要作下面的修改。

 

 

第八步： 讓zookeeper統一管理配置文件。須要把solrhome/collection1/conf目錄上傳到zookeeper。上傳任意一個solrhome中的配置文件便可。

 工具的位置在：解壓solr-4.10.3.tgz.tgz獲得solr-4.10.3裏面的example/scripts/cloud-scripts/zkcli.sh

 

咱們使用zkcli.sh這個工具，把咱們的配置文件上傳到zookeeper。

使用下面的命令：

./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

查看zookeeper上的配置文件：
使用zookeeper目錄下的bin/zkCli.sh命令查看zookeeper上的配置文件：

直接使用命令./zkCli.sh就能夠鏈接上，

可是直接鏈接上的是localhost:2181這個zookeeper。

默認鏈接的就是2181這個zookeeper。

輸入quit退出

鏈接指定端口的zookeeper使用下面的命名

[root@admin bin]# ./zkCli.sh -server 192.168.25.130:2182

這個時候咱們鏈接的就是192.168.25.130：2182的zookeeper。

鏈接到集羣中的任何節點，均可以使用下面命令查看根目錄下有多少個配置文件

# ls /

能夠看到裏面有一個configs,執行命令 ls /configs 能夠看到下面有一個myconf

這個myconf也就是咱們執行下面這條命令的時候指定的

 ./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf 

 執行命令 ls /configs/myconf ,能夠看到裏面就有咱們上傳上來的配置文件

這就表示咱們把配置文件上傳到了zookeeper裏面了。

使用命令quit推出去。

 

 

第九步：啓動每一個tomcat實例。要保證zookeeper集羣是啓動狀態。

 一樣咱們能夠寫一個批處理start-tomcat-all.sh,內容以下

授予全部用戶執行的權限

[root@admin solr-cloud]# chmod a+x start-tomcat-all.sh

而後執行批處理命令，啓動全部的tomcat

查看tomcat日誌，確認是否啓動起來了，若是虛擬機的內存小的話，須要等待特別長的時間，纔可以啓動起來。

 

第十步：訪問集羣

 

8 solrcloud的collection管理

1 建立新的collection進行分片處理

在瀏覽器中的輸入下面的命令，而後按回車。

http://192.168.25.130:8180/solr/admin/collections?action=CREATE&name=collection3&numShards=2&replicationFactor=2

解釋：建立一個collection名稱叫作collection3(name=collection3),分配的數量爲1（numshard=2),有2個備份機(replicationFactor=2)，每片都是一主一備，全部總的有兩個備份機。

 

而後咱們在查看一下cloud,效果以下

2 刪除不用的collection

在瀏覽器中輸入下面的命令，而後回車

http://192.168.25.130:8180/solr/admin/collections?action=DELETE&name=collection1

而後查看一下cloud,效果以下

9 使用solrJ管理集羣

1 使用步驟

第一步：把solrJ相關的jar包添加到工程中。

maven工程中添加下面的依賴

第二步：建立一個SolrServer對象，須要使用CloudSolrServer子類。構造方法的參數是zookeeper的地址列表。
第三步：須要設置DefaultCollection屬性。
第四步：建立一SolrInputDocument對象。
第五步：向文檔對象中添加域
第六步：把文檔對象寫入索引庫。
第七步：提交。

2 添加文檔

//集羣版添加文檔
 @Test public void testSolrCloudAddDocument() throws Exception { // 第一步：把solrJ相關的jar包添加到工程中。 // 第二步：建立一個SolrServer對象，須要使用CloudSolrServer子類。構造方法的參數是zookeeper的地址列表。 // 參數是zookeeper的地址列表，使用逗號分隔
        CloudSolrServer solrServer = new CloudSolrServer("192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"); // 第三步：須要設置DefaultCollection屬性。
        solrServer.setDefaultCollection("collection3"); // 第四步：建立一SolrInputDocument對象。
        SolrInputDocument document = new SolrInputDocument(); // 第五步：向文檔對象中添加域
        document.addField("item_title", "測試商品"); document.addField("item_price", "100"); document.addField("id", "test001"); // 第六步：把文檔對象寫入索引庫。
 solrServer.add(document); // 第七步：提交。
 solrServer.commit(); }

3 查詢文檔

//集羣版查詢文檔
 @Test public void testSolrCloudQueryDocument() throws Exception { //建立一個CloudSolrServer對象
        CloudSolrServer cloudSolrServer = new CloudSolrServer("192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"); //設置默認的Collection
        cloudSolrServer.setDefaultCollection("collection3"); //建立一個查詢對象
        SolrQuery query = new SolrQuery(); //設置查詢條件
        query.set("q", "*:*"); //*:*查詢全部 //query.setQuery("*:*"); //執行查詢
        QueryResponse queryResponse = cloudSolrServer.query(query); //取查詢結果
        SolrDocumentList solrDocumentList = queryResponse.getResults(); System.out.println("總共查詢到"+solrDocumentList.getNumFound()+"條記錄"); //遍歷結果，打印
        for (SolrDocument solrDocument : solrDocumentList) { System.out.println(solrDocument.get("id")); System.out.println(solrDocument.get("item_title")); System.out.println(solrDocument.get("item_price")); } }

10 單機版和集羣版solr的applicationContext.xml配置文件

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:context="http://www.springframework.org/schema/context" xmlns:p="http://www.springframework.org/schema/p" xmlns:aop="http://www.springframework.org/schema/aop" xmlns:tx="http://www.springframework.org/schema/tx" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.2.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.2.xsd http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.2.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.2.xsd http://www.springframework.org/schema/util http://www.springframework.org/schema/util/spring-util-4.2.xsd">

    <!-- 單機版solr服務配置 -->
    <!-- <bean id="httpSolrServer" class="org.apache.solr.client.solrj.impl.HttpSolrServer"> <constructor-arg index="0" value="http://47.93.53.127:18080/solr/collection1"></constructor-arg> </bean> -->
    
    <!-- 集羣版solr服務 -->
    <bean id="cloudSolrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
        <constructor-arg name="zkHost" value="192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"></constructor-arg>    
        <property name="defaultCollection" value="collection2"></property>
    </bean>
</beans>

 經過上面的配置文件能夠很方便的在單機版和集羣版之間切換。