搜索技術---solr

solr

企業站內搜索技術選型

在一些大型門戶網站、電子商務網站等都須要站內搜索功能，使用傳統的數據庫查詢方式實現搜索沒法知足一些高級的搜索需求，好比：搜索速度要快、搜索結果按相關度排序、搜索內容格式不固定等，這裏就須要使用全文檢索技術實現搜索功能。

單獨使用Lucene實現

單獨使用Lucene實現站內搜索須要開發的工做量較大，主要表如今：索引維護、索引性能優化、搜索性能優化等，所以不建議採用。

使用Google或Baidu接口 

經過第三方搜索引擎提供的接口實現站內搜索，這樣和第三方引擎系統依賴緊密，不方便擴展，不建議採用。

使用Solr實現

基於Solr實現站內搜索擴展性較好而且能夠減小程序員的工做量，由於Solr提供了較爲完備的搜索引擎解決方案，所以在門戶、論壇等系統中經常使用此方案。

 

 

什麼是Solr

Solr 是Apache下的一個頂級開源項目，採用Java開發，它是基於Lucene的全文搜索服務器。Solr提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展，並對索引、搜索性能進行了優化

Solr能夠獨立運行，運行在Jetty、Tomcat等這些Servlet容器中，Solr 索引的實現方法很簡單，用 POST 方法向 Solr 服務器發送一個描述 Field 及其內容的 XML 文檔，Solr根據xml文檔添加、刪除、更新索引 。Solr 搜索只須要發送 HTTP GET 請求，而後對 Solr 返回Xml、json等格式的查詢結果進行解析，組織頁面佈局。Solr不提供構建UI的功能，Solr提供了一個管理界面，經過管理界面能夠查詢Solr的配置和運行狀況。

solr是基於lucene開發企業級搜索服務器，實際上就是封裝了lucene。

Solr是一個獨立的企業級搜索應用服務器，它對外提供相似於Web-service的API接口。用戶能夠經過http請求，向搜索引擎服務器提交必定格式的文件，生成索引；也能夠經過提出查找請求，並獲得返回結果

Solr相似webservice，調用接口，實現增長，修改，刪除，查詢索引庫。

 

Solr與Lucene的區別

Lucene是一個開放源代碼的全文檢索引擎工具包，它不是一個完整的全文檢索引擎，Lucene提供了完整的查詢引擎和索引引擎，目的是爲軟件開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索的功能，或者以Lucene爲基礎構建全文檢索引擎。

 Solr的目標是打造一款企業級的搜索引擎系統，它是一個搜索引擎服務，能夠獨立運行，經過Solr能夠很是快速的構建企業的搜索引擎，經過Solr也能夠高效的完成站內搜索功能。

Solr相似webservice，提供接口，調用接口，發送一些特色語句，實現增長，刪除，修改，查詢。

solr4.x快速入門

1 下載

從Solr官方網站（http://lucene.apache.org/solr/ ）下載Solr4.10.3，根據Solr的運行環境，Linux下須要下載lucene-4.10.3.tgz，windows下須要下載lucene-4.10.3.zip。

Solr使用指南可參考：https://wiki.apache.org/solr/FrontPage。

下載solr-4.10.3.zip並解壓,解壓後目錄爲: 

bin：solr的運行腳本

contrib：Solr的一些擴展包,包括分詞器,聚類,語言識別,數據導入處理,非結構化內容分

析等.

dist：該目錄包含build過程當中產生的war和jar文件，以及相關的依賴文件。咱們之

前使用的solr.war實際上就是這個文件夾下的solr-4.40.war

docs：solr的API文檔

example：solr工程的例子目錄：

l example/solr：

該目錄是一個包含了默認配置信息的Solr的Core目錄。

l example/multicore：

該目錄包含了在Solr的multicore中設置的多個Core目錄。

l example/webapps：

    該目錄中包括一個solr.war，該war可做爲solr的運行實例工程。

l licenses：solr相關的一些許可信息

2 使用solr內置jetty服務器運行solr

Jetty服務器是web容器，相似tomcat。

啓動solr內置jetty服務器流程：

一、 啓動運行example/start.jar

a) 直接在cmd命令行運行命令

b) 使用bat批處理文件運行jar包

 二、 加載example/lib下面的jetty服務器

三、 Jetty服務器加載example/webaaps/solr.war項目

四、 加載索引庫倉庫：example/solr

 

Solr首頁

 

索引倉庫core admin

 

多索引庫

一個core admin（索引倉庫）有多個索引庫collection1，collection2…..

添加第一個索引庫：

 

選擇索引庫

overView

 

Analysis

 

Dataimport

導入外部數據。導入mysql數據庫商品數據。

Documents

 

Files

索引庫配置文件拷貝，加載索引庫配置文件。

 

Query

 

管理界面

 

Dashboard：

儀表盤，顯示了該Solr實例開始啓動運行的時間、版本、系統資源、jvm等信息。

Logging：

Solr運行日誌信息

Cloud：

Cloud即SolrCloud，即Solr雲（集羣），當使用Solr Cloud模式運行時會顯示此菜單，以下圖是Solr Cloud的管理界面：

 

Core Admin：

Solr Core的管理界面。Solr Core 是Solr的一個獨立運行實例單位，它能夠對外提供索引和搜索服務，一個Solr工程能夠運行多個SolrCore（Solr實例），一個Core對應一個索引目錄。

java properties

Solr在JVM 運行環境中的屬性信息，包括類路徑、文件編碼、jvm內存設置等信息。

Tread Dump

顯示Solr Server中當前活躍線程信息，同時也能夠跟蹤線程運行棧信息。

Core selector

選擇一個SolrCore進行詳細操做，以下：

 

Analysis（重點）

 

經過此界面能夠測試索引分析器和搜索分析器的執行狀況。

dataimport

能夠定義數據導入處理器，從關係數據庫將數據導入 到Solr索引庫中。

 

 

Document（重點）

 

經過此菜單能夠建立索引、更新索引、刪除索引等操做，界面以下：

 

 

 

 

 

/update表示更新索引，solr默認根據id（惟一約束）域來更新Document的內容，若是根據id值搜索不到id域則會執行添加操做，若是找到則更新。

 

添加索引庫

 

 

 

 

 

修改

 

 

 

若是Id存在，修改

 

若是Id不存在，添加。

 

刪除

 

 

 

query（重點）

 

System property替換   

 Solr 支持系統屬性替換，容許啓動JVM在任一Solr的配置文件指定字符串替換。

語法： ${property[:default value]}

替換是有效的在任何元素或屬性的文本。

這裏是容許運行時決定數據目錄的一個例子：

     <dataDir>${solr.data.dir:./solr/data}</dataDir>  使用示例應用程序中

solr能夠以這種方式啓動：

java -Dsolr.data.dir=/data/dir -jar start.jar  若是沒有指定

solr啓動時讀取 conf/solrcore.properties文件

#solrcore.properties  data.dir=/data/solrindex

解析：運行時替換目錄意思

 

  注意：在solrConfig配置文件裏面使用${}，這是solr語法格式。

  簡單解釋一下：

  Solr.就表明solrcore索引庫目錄：collection1這一層目錄。

  顧名思義：solr.data.dir表示的意思就是collection1下面的data目錄。

  這是solr的一種約定，沒必要深究，知道solr.就是咱們的索引庫目錄就ok。

 

 

 

 

Solrj

 

什麼是SolrJ

 

solrj是訪問Solr服務的java客戶端，提供索引和搜索的請求方法，SolrJ一般在嵌入在業務系統中，經過SolrJ的API接口操做Solr服務