Solr環境配置、中文分詞、數據庫作爲索引源及索引操做

1、配置solr環境

一、  下載solr  http://www.apache.org/dyn/closer.cgi/lucene/solr/

此處用的是4.6 解壓到D盤D:/solr/apache-solr-4.6.0

二、修改tomcat conf/server.xml

  <Connector connectionTimeout="20000" port="8080" protocol="HTTP/1.1" redirectPort="8443"URIEncoding="UTF-8" />

添加編碼的配置 URIEncoding="UTF-8" （如不添加，中文檢索時由於亂碼搜索不到）

三、  配置solr

Tomcat  conf/Catalina/localhost下添加solr.xml

內容：

<Context docBase="D:/solr/apache-solr-4.6.0/dist/apache-solr-4.6.0.war" debug="0" crossContext="true" >

<Environment name="solr/home" type="java.lang.String" value="D:/solr/apache-solr-4.6.0/example/solr" override="true" />

</Context>

四、 啓動tomcat  輸入http://localhost:8080/solr/  出現歡迎界面表示成功

2、中文分詞配置

一、 下載分詞器： http://code.google.com/p/mmseg4j/

二、下載詞庫：http://code.google.com/p/mmseg4j/downloads/detail?name=data.zip&can=2&q

三、將解壓後的mmseg4j-1.8.5目錄下的mmseg4j-all-1.8.5.jar拷貝到Tomcat的webapps/solr/WEB-INF/lib目錄下。

四、添加詞庫：在D:/solr/apache-solr-4.6.0/example/solr目錄下新建dic文件夾，將解壓後的data目錄下的words.dic拷貝到D:/solr/apache-solr-4.6.0/example/solr/dic目錄下。

五、  更改schema.xml(D:/solr/apache-solr-4.6.0/example/solr/conf/)文件，使分詞器起到做用。

在schema.xml的<types>、<fields>和部分新增以下配置：

注：dicPath=" "是你的詞庫路徑。

    <!--mmseg4j field types-->

       <fieldType name="textComplex" class="solr.TextField" positionIncrementGap="100" > 

                  <analyzer> 

                     <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="complex" dicPath="D:/solr/apache-solr-4.6.0/example/solr/dic"/> 

                     <filter class="solr.LowerCaseFilterFactory"/> 

           </analyzer> 

       </fieldType> 

     <fieldType name="textMaxWord" class="solr.TextField" positionIncrementGap="100" > 

        <analyzer> 

            <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="max-word" dicPath="D:/solr/apache-solr-4.6.0/example/solr/dic"/> 

            <filter class="solr.LowerCaseFilterFactory"/> 

        </analyzer> 

     </fieldType> 

     <fieldType name="textSimple" class="solr.TextField" positionIncrementGap="100" > 

       <analyzer> 

           <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" dicPath="D:/solr/apache-solr-4.6.0/example/solr/dic"/> 

           <filter class="solr.LowerCaseFilterFactory"/> 

       </analyzer> 

     </fieldType>

   <!-- mmseg4j field -->

   <field name="simple" type="textSimple" indexed="true" stored="true" multiValued="true"/> 

   <field name="complex" type="textComplex" indexed="true" stored="true" multiValued="true"/> 

   <field name="text_mmseg4j" type="textMaxWord" indexed="true" stored="true" multiValued="true"/>

  <!-- mmseg4j copyField -->

   <copyField source="simple" dest="text_mmseg4j"/>

   <copyField source="complex" dest="text_mmseg4j"/>

重啓你的tomcat。

訪問：http://localhost:8080/solr/admin/analysis.jsp能夠看 mmseg4j 的分詞效果。在 Field 的下拉菜單選擇 name，而後在應用輸入 complex。分詞的結果，以下圖：

好了，能夠運行起來了，那就添加個文檔試下，在 解壓後的D:/solr/apache-solr-4.6.0/example/exampledocs目錄下建立 mmseg4j-solr-demo-doc.xml 文檔，內容以下：

  <add> 

      <doc> 

          <field name="id">1</field> 

          <field name="text">高效、靈活的緩存功能，垂直搜索功能。</field> 

      </doc> 

      <doc> 

          <field name="id">2</field> 

          <field name="text"> Solr是一個高性能，採用Java5開發，基於Lucene的全文搜索服務器。</field> 

      </doc> 

      <doc> 

          <field name="id">3</field> 

          <field name="text"> 獨立的企業級搜索應用服務器</field> 

      </doc> 

  </add>

注意：使用的字段name必須在solr的配置文件schem.xml增長

       下(id、title)同樣

而後在 cmd 下運行 post.jar，以下：

D:\solr\apache-solr-4.6.0\example\exampledocs>java -Durl=http://localhost:8080/

solr/update -Dcommit=yes -jar post.jar mmseg4j-solr-demo-doc.xml 

注意：mmseg4j-solr-demo-doc.xml 要是 UTF-8 格式，否則提交後會亂碼。還有在查詢中文時須要把tomcat設置成URIEncoding="UTF-8";

查看是否有數據，訪問：http://localhost:8080/solr/admin/ 在Query String: 中輸入「高性能」

顯示以下圖所示：

3、Solr將數據庫作成索引數據源（以mysql爲例）

一、  在solrconfig.xml中配置導入數據功能(D:\solr\apache-solr-4.6.0\example\solr\conf下)

     <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler"> 

     <lst name="defaults"> 

       <str name="config">D:\solr\apache-solr-4.6.0\example\solr\conf\db\db-data-config.xml</str> 

     </lst> 

  </requestHandler>

二、  添加一個數據源db-data-config.xml (D:\solr\apache-solr-4.6.0\example\solr\conf\db下)

    <dataConfig>

         <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/solr" user="root" password="root"/>

             <document name="messages">

               <entity name="user" transformer="ClobTransformer" query="select * from t_user">

             <field column="id" name="id" />

                      <field column="name" name="name"/>

                      <field column="title" name="title"/>

         </entity>

     </document>

 </dataConfig>

CREATE TABLE t_user  

(  

   id         VARCHAR(255) PRIMARY KEY,  

   name       VARCHAR(10) NOT NULL,  

   title        VARCHAR(10)

);

三、放入mysql驅動包  （Tomcat的webapps/solr/WEB-INF/lib目錄下）

四、建立索引

   http://localhost:8080/solr/dataimport?command=full-import

五、  查看是否成功，訪問：http://localhost:8080/solr/admin/ 在Query String: 中輸入「sunshan」、「孫閃」

以下圖：

注：保證與數據庫鏈接正確

4、Solr多核（MultiCore）配置

一、  拷貝multicore（D:\solr\apache-solr-4.6.0\example下）下的core0、core一、exampledocs到solr（D:\solr\apache-solr-4.6.0\example\solr下）目錄下

二、  更改solr.xml（D:\solr\apache-solr-4.6.0\example\solr下）配置

添加:

<core name="core0" instanceDir="core0" dataDir="D:/solr/apache-solr-4.6.0/example/solr/core0/data"/>

<core name="core1" instanceDir="core1" dataDir="D:/solr/apache-solr-4.6.0/example/solr/core1/data"/>

配置後：

   <cores adminPath="/admin/cores">

    <core name="collection1" instanceDir="." />

  <core name="core0" instanceDir="core0" dataDir="D:/solr/apache-solr-4.6.0/example/solr/core0/data"/>

    <core name="core1" instanceDir="core1" dataDir="D:/solr/apache-solr-4.6.0/example/solr/core1/data"/>

  </cores>

三、  啓動tomcat 訪問：

http://localhost:8080/solr/

5、多核數據庫索引：

同上配置

注：出現錯誤Error loading class 'org.apache.solr.handler.dataimport.DataImportHandler'

需配置（solrconfig.xml裏）

  <!-- start -->

  <lib dir="D:/solr/apache-solr-4.6.0/contrib/extraction/lib" />

  <lib dir="D:/solr/apache-solr-4.6.0/dist/" regex="apache-solr-cell-\d.*\.jar" />

  <lib dir="D:/solr/apache-solr-4.6.0/dist/" regex="apache-solr-clustering-\d.*\.jar" />

  <lib dir="D:/solr/apache-solr-4.6.0/dist/" regex="apache-solr-dataimporthandler-\d.*\.jar" />

  <lib dir="D:/solr/apache-solr-3.3.0/contrib/clustering/lib/" />

  <lib dir="/total/crap/dir/ignored" />

  <!-- end -->

dir注意路徑

重啓tomcat

建立索引：http://localhost:8080/solr/core1/dataimport?command=full-import

http://localhost:8080/solr/dataimport?command=full-import 這 url 告訴 solr 作全量索引，作索引中會刪除全部數據。固然也能夠用 clean=false 參數來告訴它不刪除，但也會刪除相同id的（在 scheam.xml 的uniqueKey 聲明的）。http://localhost:8080/solr/dataimport?command=full-import&clean=false

批量導入command=delta-import&commit=y

從新裝載配置文件command=reload-config

終止導入command=abort