.Net程序員 Solr-5.3之旅 (三)Solr 從MSSQ導入索引數據

時間 2019-11-24

標籤程序員 solr 5.3 之旅 mssq 導入索引數據欄目快樂工作简体版

原文原文鏈接

閱讀目錄web

引言

Other men live to eat, while I eat to live.----蘇格拉底 sql

別人活着爲了享受吃,而我吃是爲了活着。數據庫

咱們活着不能只是爲了吃，嘿嘿，有時候咱們還得寫點代碼=。=|| apache

回到頂部

準備工做

1.sqljdbc4.jar 我用的SqlServer2008tomcat

Microsoft JDBC Driver 4.0 for SQL Server 支持如下操做系統：app

Linux、Unix、Windows Server 200八、webapp

Windows Vista Service Pack 一、Windows Server 2008 R2 和 Windows 7。sqlserver

2.將solr-5.3.1\dist目錄下的 solr-dataimporthandler-5.3.1.jar複製到apache-tomcat\webapps\solr\WEB-INF\lib目錄下學習

3.將下載的sqljdbc4.jar放到apache-tomcat\webapps\solr\WEB-INF\lib目錄下優化

4.在Solr5中默認dataImport功能是禁用的，須要在D:\solr_home\FixValue\conf\solrconfig.xml中追加配置

    <requestHandler name="/dataimport" class="solr.DataImportHandler">  
    <lst name="defaults">  
    <str name="config">data-config.xml</str>  
    </lst>  
    </requestHandler>

data-config.xml表明的是當前路徑用於數據導入的配置文件，我上篇文章有說到將Example中的配置文件複製過來，裏面就包含這個文件

目錄在solr-5.3.1\example\example-DIH\solr\solr\conf\data-config.xml

回到頂部

data-config.xml

接下來咱們導入數據的關鍵配置就在 solr-data-config.xml和schema.xml這兩個文件裏面

1.solr-data-config.xml 個人配置是：

<env-entry>
<dataConfig>
  <dataSource name="Test" type="JdbcDataSource" driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" url="jdbc:sqlserver://192.168.1.1:1433;DatabaseName=Test" user="sa" password="123456"></dataSource>
  <document>
    <entity name="FixValue" dataSource="hunter" 
      query="SELECT ID ,FixType,Value,Name,Status,OrderSort,CreationDate FROM [FixValue]" 
      deltaQuery="SELECT ID FROM [FixValue] where CreationDate > '${dataimporter.last_index_time}'"
      deltaImportQuery="SELECT * FROM [FixValue] where ID='${dih.delta.ID}'"
      >
      <field column="ID" name="id"/>
      <field column="FixType" name="fixtype"/>
      <field column="Value" name="value"/>
      <field column="Name" name="name"/>
      <field column="Status" name="status"/>
      <field column="OrderSort" name="ordersort"/>
      <field column="CreationDate" name="creationdate"/>
    </entity>
  </document>
</dataConfig>

若是你英文還能夠，能夠到https://wiki.apache.org/solr/去查找你須要的資料

這裏咱們用到的是https://wiki.apache.org/solr/DataImportHandler#Configuration_in_data-config.xml

對於solr-data-config.xml的配置，裏面都有詳細說明，下面我抓幾個重要部分說一下：

dataSource數據庫連接。

entity.dataSource咱們要使用的連接配置名稱。

entity.query用於第一次將全部數據所有導入到Solr中。

entity.deltaQuery用於查找有更改的數據。

entity.deltaImportQuery將deltaQuery中超找到的數據同步到Solr中，就是對Solr中已經存在的索引數據進行增長和修改。

entity.deletedPkQuery 這裏我沒有配置到，具體怎麼使用有待研究。

field.column 對應數據庫中的字段名稱

field.name 對應solr中存儲的索引字段名稱，區分大小寫，後面咱們在使用query查詢時用到

通常在導入索引數據時都要帶上一個惟一的標識字段，用於solr對索引的增刪改查

回到頂部

schema.xml

官方參考文獻（英語）：https://wiki.apache.org/solr/SchemaXml

咱們拷貝過來的schema.xml文件中有一些示例數據，咱們先清除掉第一行name="_version_"到<uniqueKey>id</uniqueKey>之間的全部行

而後加入咱們對FixValue表的字段定義

    <field name="_version_" type="long" indexed="true" stored="true" required="true"/>
    <field name="id" type="string" indexed="true" stored="true" omitNorms="true" required="true"/>
    <field name="fixtype" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="value" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="name" type="text_general" indexed="true" stored="true" omitNorms="true"/>
    <field name="status" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="ordersort" type="string" indexed="true" stored="true" omitNorms="true"/>
    <field name="creationdate" type="string" indexed="true" stored="true" omitNorms="true"/>
    <uniqueKey>id</uniqueKey>