Solr（全）--基於Lucene的全文搜索服務器

時間  2021-02-14
標籤 html java mysql git github web spring sql 數據庫 apache 欄目 搜索引擎 简体版
原文   原文鏈接

solr

Solr是一個高性能，基於Lucene的全文搜索服務器。同時對其進行了擴展，提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展，並對查詢性能進行了優化，而且提供了一個完善的功能管理界面，是一款很是優秀的全文搜索引擎。html

lucene

Lucene是apache jakarta項目的一個子項目，是一個開放源代碼的全文檢索引擎開發工具包，但它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文本分析引擎。Lucene的目的是爲軟件開發人員提供一個簡單易用的工具包，以方便的在目標系統中實現全文檢索的功能，或者是以此爲基礎創建起完整的全文檢索引擎。java

倒排索引

咱們通常狀況下,先找到文檔,再在文檔中找出包含的詞;mysql

倒排索引

倒排索引則是這個過程反過來,用詞,來找出它出現的文檔.git

倒排索引

實際舉例

75.png
分詞結果
76.png
倒排索引
77.pnggithub

lucene API 介紹

建立索引

新建 maven 項目,添加依賴

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.tedu</groupId>
    <artifactId>luceme-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>8.1.1</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-smartcn</artifactId>
            <version>8.1.1</version>
        </dependency>

    </dependencies>
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <version>3.8.0</version>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>

建立測試類,添加如下代碼

package test;

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;
import java.io.IOException;

public class Test1 {
    String[] a = {
            "3, 華爲 - 華爲電腦, 爆款",
            "4, 華爲手機, 旗艦",
            "5, 聯想 - Thinkpad, 商務本",
            "6, 聯想手機, 自拍神器"
    };

    @Test
    public void test1() throws Exception {
        // lucene api是底層開發工具，代碼很是繁瑣
        // 存放索引數據的文件夾
        FSDirectory directory = FSDirectory.open(new File("d:/abc").toPath());

        // 配置中文分詞器
        IndexWriterConfig config = new IndexWriterConfig(new SmartChineseAnalyzer());

        // 索引輸出工具
        IndexWriter write = new IndexWriter(directory, config);

        // 遍歷文檔，輸出索引
        for (String s: a){
            // "3, 華爲 - 華爲電腦, 爆款",
            String[] arr = s.split(",");
            // 用Document封裝商品數據
            // 分字段進行封裝
            Document doc = new Document();
            doc.add(new LongPoint("id", Long.parseLong(arr[0])));
            doc.add(new StoredField("id", Long.parseLong(arr[0])));//存入摘要
            doc.add(new TextField("title", arr[1], Field.Store.YES));
            doc.add(new TextField("sellPoint", arr[2],Field.Store.YES));

            write.addDocument(doc);
        }
        write.flush();
        write.close();
    }
}

查看索引

運行 luke

運行lucene 8.1.1中的luke應用程序,指定索引的存放目錄web

luke

查看文檔

luke

指定分詞器,並測試分詞

luke

查詢測試

luke

  • id的查詢

luke

從索引查詢

在測試類中添加 test2() 測試方法spring

package test;

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.DirectoryReader;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.index.Term;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TermQuery;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;
import java.io.IOException;

public class Test1 {
    String[] a = {
            "3, 華爲 - 華爲電腦, 爆款",
            "4, 華爲手機, 旗艦",
            "5, 聯想 - Thinkpad, 商務本",
            "6, 聯想手機, 自拍神器"
    };

    @Test
    public void test1() throws Exception {
        // lucene api是底層開發工具，代碼很是繁瑣
        // 存放索引數據的文件夾
        FSDirectory directory = FSDirectory.open(new File("d:/abc").toPath());

        // 配置中文分詞器
        IndexWriterConfig config = new IndexWriterConfig(new SmartChineseAnalyzer());

        // 索引輸出工具
        IndexWriter write = new IndexWriter(directory, config);

        // 遍歷文檔，輸出索引
        for (String s: a){
            // "3, 華爲 - 華爲電腦, 爆款",
            String[] arr = s.split(",");
            // 用Document封裝商品數據
            // 分字段進行封裝
            Document doc = new Document();
            doc.add(new LongPoint("id", Long.parseLong(arr[0])));
            doc.add(new StoredField("id", Long.parseLong(arr[0])));//存入摘要
            doc.add(new TextField("title", arr[1], Field.Store.YES));
            doc.add(new TextField("sellPoint", arr[2],Field.Store.YES));

            write.addDocument(doc);
        }
        write.flush();
        write.close();
    }

    @Test
    public void test2() throws IOException {
        //在索引中搜索數據
        //文件夾
        FSDirectory directory = FSDirectory.open(new File("d:/abc").toPath());
        //索引讀取工具
        DirectoryReader reader = DirectoryReader.open(directory);//搜索器工具
        //搜索獲得結果：[{doc:3.score:0.679},{doc:1,score:0.5151}]
        IndexSearcher searcher = new IndexSearcher(reader);
        //封裝搜索的關鍵詞
        TermQuery query = new TermQuery(new Term("title", "華爲"));
        //搜索的到結果{}
        TopDocs topDocs= searcher.search(query,20);

        //遍歷
        for (ScoreDoc sd: topDocs.scoreDocs){
            int id = sd.doc;//文檔索引編號
            float score = sd.score;//西昂關讀得分
            Document doc = searcher.doc(id);//文檔摘要
            System.out.println(id);
            System.out.println(score);
            System.out.println(doc.get("id"));
            System.out.println(doc.get("titlle"));
            System.out.println(doc.get("se;;Poimt"));
            System.out.println("--------------------------------");
        }
    }
}

solr 安裝

下面咱們來安裝 solr 服務器sql

把 solr-8.1.1.tgz 傳到服務器

先切換到 /usr/local 目錄數據庫

cd /usr/local

把文件傳到 /usr/local 目錄下apache

解壓 solr

cd /usr/local

# 上傳 solr-8.1.1.tgz 到 /usr/local 目錄
# 並解壓縮
tar -xzf solr-8.1.1.tgz

啓動 solr

cd /usr/local/solr-8.1.1

# 不建議使用管理員啓動 solr,加 -force 強制啓動
bin/solr start -force

# 開放 8983 端口
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload

瀏覽器訪問 solr 控制檯

http://192.168.64.170:8983

  • 注意修改地址

solr

建立 core

數據庫中 pd_item 表中的商品數據, 在 solr 中保存索引數據, 一類數據, 在 solr 中建立一個 core 保存索引數據

建立一個名爲 pd 的 core, 首先要準備如下目錄結構:

# solr目錄/server/solr/
#                    pd/
#                     conf/
#                     data/

cd /usr/local/solr-8.1.1

mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data

conf 目錄是 core 的配置目錄, 存儲一組配置文件, 咱們以默認配置爲基礎, 後續逐步修改

複製默認配置

cd /usr/local/solr-8.1.1

cp -r server/solr/configsets/_default/conf server/solr/pd

建立名爲 pd 的 core

core

中文分詞測試

分詞

填入如下文本, 觀察分詞結果:

Solr是一個高性能，採用Java5開發，基於Lucene的全文搜索服務器。同時對其進行了擴展，提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展並對查詢性能進行了優化，而且提供了一個完善的功能管理界面，是一款很是優秀的全文搜索引擎。

中文分詞工具 - ik-analyzer

https://github.com/magese/ik-...

分詞

  • 下載 ik-analyzer 分詞 jar 文件,傳到 solr目錄/server/solr-webapp/webapp/WEB-INF/lib

    • 爲了後續操做方便,咱們把後面用到的jar文件一同傳到服務器,包括四個文件:

      • ik-analyzer-8.1.0.jar
      • mysql-connector-java-5.1.46.jar
      • solr-dataimporthandler-8.1.1.jar
      • solr-dataimporthandler-extras-8.1.1.jar
  • 複製6個文件到 solr目錄/server/solr-webapp/webapp/WEB-INF/classes
# classes目錄若是不存在,須要建立該目錄
mkdir /usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/classes
這6個文件複製到 classes 目錄下
resources/
    IKAnalyzer.cfg.xml
    ext.dic
    stopword.dic
    stopwords.txt
    ik.conf
    dynamicdic.txt
  • 配置 managed-schema

修改 solr目錄/server/solr/pd/conf/managed-schema,添加 ik-analyzer 分詞器

<!-- ik分詞器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>
  • 重啓 solr 服務
cd /usr/local/solr-8.1.1

bin/solr restart -force

使用 ik-analyzer 對中文進行分詞測試

填入如下文本, 選擇使用 text_ik 分詞器, 觀察分詞結果:

Solr是一個高性能，採用Java5開發，基於Lucene的全文搜索服務器。同時對其進行了擴展，提供了比Lucene更爲豐富的查詢語言，同時實現了可配置、可擴展並對查詢性能進行了優化，而且提供了一個完善的功能管理界面，是一款很是優秀的全文搜索引擎。

分詞

設置中止詞

上傳中止詞配置文件到 solr目錄/server/solr-webapp/webapp/WEB-INF/classes

stopword.dic
stopwords.txt
  • 重啓服務,觀察分詞結果中,中止詞被忽略
bin/solr restart -force

準備 mysql 數據庫數據

  • 用 sqlyog 執行 pd.sql
  • 授予 root 用戶 跨網絡訪問權限
    注意: 此處設置的是遠程登陸的 root 用戶,本機登陸的 root 用戶密碼不變
DROP USER 'root'@'%'；

CREATE USER 'root'@'%' IDENTIFIED BY 'root';

GRANT ALL ON *.* TO 'root'@'%';

隨機修改30%的商品,讓商品下架,以便後面作查詢測試

UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3

從 mysql 導入商品數據

設置字段

  • title text_ik
  • sellPoint text_ik
  • price plong
  • barcode string
  • image string
  • cid plong
  • status pint
  • created pdate
  • updated pdate

字段設置

Copy Field 副本字段

查詢時須要按字段查詢,例如 title:電腦, 能夠將多個字段的值合併到一個字段進行查詢,默認查詢字段 _text_

將 title 和 sellPoint 複製到 _text_ 字段

副本字段

Data Import Handler 配置

  • 添加 jar 文件

Data Import Handler 的 jar 文件存放在 solr目錄/dist 目錄下

solr-dataimporthandler-8.1.1.jar
solr-dataimporthandler-extras-8.1.1.jar

複製這兩個文件和 mysql 的 jar 文件到 solr目錄/server/solr-webapp/webapp/WEB-INF/lib

  • dih-config.xml
    修改 mysql 的 ip 地址,傳到
    solr目錄/server/solr/pd/conf
  • solrconfig.xml 中添加 DIH 配置
<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">  
        <str name="config">dih-config.xml</str>  
    </lst>  
</requestHandler>
  • 重啓 solr
cd /usr/local/solr-8.1.1

bin/solr restart -force

導入數據

重啓 solr 後導入數據,確認導入的文檔數量爲 3160

數據導入

查詢測試

在複製字段 _text_ 中查找 電腦

查詢

在標題中查找 電腦

查詢

用雙引號查找完整詞 "筆記本"

查詢

搜索 +lenovo +電腦

查詢

搜索 +lenovo -電腦

查詢

統計 cid

查詢

查詢

查詢

查詢

價格範圍

在 Raw Query Parameters 輸入框中填入如下內容:
facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000

查詢

查詢

多字段統計

在 Raw Query Parameters 輸入框中填入如下內容:
facet.pivot=cid,status

查詢

查詢

拼多商城實現商品的全文檢索

修改 hosts 文件, 添加 www.pd.com 映射

127.0.0.1      www.pd.com

eclipse 導入 pd-web 項目

導入項目

導入項目

修改數據庫鏈接配置

application.yml 配置文件中,修改鏈接配置

spring:
    datasource:
        type: com.alibaba.druid.pool.DruidDataSource
        driver-class-name: com.mysql.jdbc.Driver
        url: jdbc:mysql://127.0.0.1:3306/pd_store?useUnicode=true&characterEncoding=UTF-8
        username: root
        password: root

啓動項目, 訪問 www.pd.com

拼多

商品檢索調用分析

調用

pom.xml 添加 solr 和 lombok 依賴

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>

<dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
</dependency>

application.yml 添加 solr 鏈接信息

spring:
  data:
    solr:   #注意修改ip地址
      host: http://192.168.64.170:8983/solr/pd

Item 實體類

package com.pd.pojo;

import java.io.Serializable;

import org.apache.solr.client.solrj.beans.Field;

import lombok.Data;

@Data
public class Item implements Serializable {
        private static final long serialVersionUID = 1L;
        
        @Field("id")
        private String id;
        @Field("title")
        private String title;
        @Field("sellPoint")
        private String sellPoint;
        @Field("price")
        private Long price;
        @Field("image")
        private String image;

}

SearchService 業務接口

package com.pd.service;

import java.util.List;

import com.pd.pojo.Item;

public interface SearchService {
    List<Item> findItemByKey(String key) throws Exception;
}

SearchServiceImpl 業務實現類

package com.pd.service.impl;

import java.util.List;

import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import org.springframework.stereotype.Service;

import com.pd.pojo.Item;
import com.pd.service.SearchService;

@Service
public class SearchServiceImpl implements SearchService {
    
    /*
     * SolrClient實例是在 SolrAutoConfiguration 類中建立的
     * 
     * SolrAutoConfiguration添加了@Configuration註解,
     * 是spring boot自動配置類,其中的solrClient()方法中建立了SolrClient實例
     */
    @Autowired
    private SolrClient solrClient;

    @Override
    public List<Item> findItemByKey(String key) throws Exception {
        //封裝查詢的關鍵詞
        //也能夠封裝其餘的查詢參數,好比指定字段,facet設置等
        SolrQuery query = new SolrQuery(key);
        //查詢前多少條數據
        query.setStart(0);
        query.setRows(20);
        
        //執行查詢並獲得查詢結果
        QueryResponse qr = solrClient.query(query);
        //把查詢結果轉成一組商品實例
        List<Item> beans = qr.getBeans(Item.class);
        return beans;
    }

}

SearchController 控制器

package com.pd.controller;

import java.util.List;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Controller;
import org.springframework.ui.Model;
import org.springframework.web.bind.annotation.GetMapping;

import com.pd.pojo.Item;
import com.pd.service.SearchService;

@Controller
public class SearchController {
    @Autowired
    private SearchService searchService;
    
    @GetMapping("/search/toSearch.html")
    public String search(String key, Model model) throws Exception {
        List<Item> itemList = searchService.findItemByKey(key);
        model.addAttribute("list", itemList);
        return "/search.jsp";
    }
}
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程