Net Core使用Lucene.Net和盤古分詞器實現全文檢索

時間 2020-01-01

標籤 core 使用 lucene.net lucene 盤古分詞器實現全文檢索简体版

原文原文鏈接

Lucene.net

Lucene.net是Lucene的.net移植版本，是一個開源的全文檢索引擎開發包，即它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，是一個高性能、可伸縮的文本搜索引擎庫。它的功能就是負責將文本數據按照某種分詞算法進行切詞，分詞後的結果存儲在索引庫中，從索引庫檢索數據的速度很是快。Lucene.net須要有索引庫，而且只能進行站內搜索。（來自百度百科）git

效果圖

盤古分詞

如何使用

將PanGu.dIl與PanGu.Lucenet.Analyzer. dl並加入到項目中github

將Dict文件，拷貝到項目Bin文件夾裏面算法

字典文件夾下載：https://pan.baidu.com/s/1HNiLp6bCcodN8vqlck066g 提取碼: xydc數據庫

測試

能夠看到，盤古分詞相對Lucene.net自帶的一元分詞來講，是比較好的，由於一元分詞不適合進行中文檢索。架構

一元分詞是按字拆分的，好比上面一句話，使用一元分詞拆分的結果是："有","一","種","方","言","叫","作","不","老","蓋","兒"。若是查找「方言」這個詞，是找不到查詢結果的。不符合咱們的檢索習慣，因此基本不使用。ide

拓展

上面的"不老蓋兒"（河南方言），這裏想組成一個詞，那麼須要建立"不老蓋兒"詞組並添加到字典裏面。函數

使用DictManage工具：https://pan.baidu.com/s/1Yla2DBM74kSbno8cg5kvGw 提取碼：tphe工具

解壓，運行 DictManage.exe 性能

而後打開 Dict 文件下的 Dict.dct 文件，並添加"不老蓋兒"詞組測試

而後查找就能夠看到"不老蓋兒"詞組

而後保存覆蓋原有的 Dict.dct 文件

刷新頁面或者從新打開頁面看下效果

Demo文件說明

簡單實現

建立索引核心代碼

        /// <summary>
        /// 建立索引
        /// </summary>
        /// <returns></returns>
        [HttpGet]
        [Route("createIndex")]
        public string CreateIndex()
        {
            //索引保存位置
            var indexPath = Directory.GetCurrentDirectory() + "/Index";
            if (!Directory.Exists(indexPath)) Directory.CreateDirectory(indexPath);
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());
            if (IndexWriter.IsLocked(directory))
            {
                //  若是索引目錄被鎖定（好比索引過程當中程序異常退出），則首先解鎖
                //  Lucene.Net在寫索引庫以前會自動加鎖，在close的時候會自動解鎖
                IndexWriter.Unlock(directory);
            }
            //Lucene的index模塊主要負責索引的建立
            //  建立向索引庫寫操做對象  IndexWriter(索引目錄,指定使用盤古分詞進行切詞,最大寫入長度限制)
            //  補充:使用IndexWriter打開directory時會自動對索引庫文件上鎖
            //IndexWriter構造函數中第一個參數指定索引文件存儲位置；
            //第二個參數指定分詞Analyzer，Analyzer有多個子類，
            //然而其分詞效果並很差，這裏使用的是第三方開源分詞工具盤古分詞；
            //第三個參數表示是否從新建立索引，true表示從新建立（刪除以前的索引文件），
            //最後一個參數指定Field的最大數目。
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), true,
                IndexWriter.MaxFieldLength.UNLIMITED);
            var txtPath = Directory.GetCurrentDirectory() + "/Upload/Articles";
            for (int i = 1; i <= 1000; i++)
            {
                //  一條Document至關於一條記錄
                Document document = new Document();
                var title = "天驕戰紀_" + i + ".txt";
                var content = System.IO.File.ReadAllText(txtPath + "/" + title, Encoding.Default);
                //  每一個Document能夠有本身的屬性（字段），全部字段名都是自定義的，值都是string類型
                //  Field.Store.YES不只要對文章進行分詞記錄，也要保存原文，就不用去數據庫裏查一次了
                document.Add(new Field("Title", "天驕戰紀_" + i, Field.Store.YES, Field.Index.NOT_ANALYZED));
                //  須要進行全文檢索的字段加 Field.Index. ANALYZED
                //  Field.Index.ANALYZED:指定文章內容按照分詞後結果保存，不然沒法實現後續的模糊查詢 
                //  WITH_POSITIONS_OFFSETS:指示不只保存分割後的詞，還保存詞之間的距離
                document.Add(new Field("Content", content, Field.Store.YES, Field.Index.ANALYZED, Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);
            }
            writer.Close(); // Close後自動對索引庫文件解鎖
            directory.Close(); //  不要忘了Close，不然索引結果搜不到
            return "索引建立完畢";
        }

View Code

搜索代碼

        /// <summary>
        /// 搜索
        /// </summary>
        /// <returns></returns>
        [HttpGet]
        [Route("search")]
        public object Search(string keyWord, int pageIndex, int pageSize)
        {
            Stopwatch stopwatch = new Stopwatch();
            stopwatch.Start();
            string indexPath = Directory.GetCurrentDirectory() + "/Index";
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            IndexReader reader = IndexReader.Open(directory, true);
            //建立IndexSearcher準備進行搜索。
            IndexSearcher searcher = new IndexSearcher(reader);
            // 查詢條件
            keyWord = GetKeyWordsSplitBySpace(keyWord, new PanGuTokenizer());
            //建立QueryParser查詢解析器。用來對查詢語句進行語法分析。
            //QueryParser調用parser進行語法分析，造成查詢語法樹，放到Query中。
            QueryParser msgQueryParser = new QueryParser(Lucene.Net.Util.Version.LUCENE_29, "Content", new PanGuAnalyzer(true));
            Query msgQuery = msgQueryParser.Parse(keyWord);
            //TopScoreDocCollector:盛放查詢結果的容器
            //numHits 獲取條數
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            //IndexSearcher調用search對查詢語法樹Query進行搜索，獲得結果TopScoreDocCollector。
            // 使用query這個查詢條件進行搜索，搜索結果放入collector
            searcher.Search(msgQuery, null, collector);
            // 從查詢結果中取出第n條到第m條的數據
            ScoreDoc[] docs = collector.TopDocs(0, 1000).scoreDocs;
            stopwatch.Stop();
            // 遍歷查詢結果
            List<ReturnModel> resultList = new List<ReturnModel>();
            var pm = new Page<ReturnModel>
            {
                PageIndex = pageIndex,
                PageSize = pageSize,
                TotalRows = docs.Length
            };
            pm.TotalPages = pm.TotalRows / pageSize;
            if (pm.TotalRows % pageSize != 0) pm.TotalPages++;
            for (int i = (pageIndex - 1) * pageSize; i < pageIndex * pageSize && i < docs.Length; i++)
            {
                var doc = searcher.Doc(docs[i].doc);
                var content = HighlightHelper.HighLight(keyWord, doc.Get("Content"));
                var result = new ReturnModel
                {
                    Title = doc.Get("Title"),
                    Content = content,
                    Count = Regex.Matches(content, "<font").Count
                };
                resultList.Add(result);
            }

            pm.LsList = resultList;
            var elapsedTime = stopwatch.ElapsedMilliseconds + "ms";
            var list = new { list = pm, ms = elapsedTime };
            return list;
        }

View Code

盤古分詞

        /// <summary>
        /// 盤古分詞
        /// </summary>
        /// <param name="words"></param>
        /// <returns></returns>
        public static object PanGu(string words)
        {
            Analyzer analyzer = new PanGuAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("", new StringReader(words));
            Lucene.Net.Analysis.Token token = null;
            var str = "";
            while ((token = tokenStream.Next()) != null)
            {
                string word = token.TermText(); // token.TermText() 取得當前分詞
                str += word + "   |  ";
            }
            return str;
        }

View Code

搜索結果高亮顯示

        /// <summary>
        /// 搜索結果高亮顯示
        /// </summary>
        /// <param name="keyword"> 關鍵字 </param>
        /// <param name="content"> 搜索結果 </param>
        /// <returns> 高亮後結果 </returns>
        public static string HighLight(string keyword, string content)
        {
            // SimpleHTMLFormatter：這個類是一個HTML的格式類，構造函數有兩個，一個是開始標籤，一個是結束標籤。
            SimpleHTMLFormatter simpleHTMLFormatter =
                new SimpleHTMLFormatter("<font style=\"color:red;" +
                                        "font-family:'Cambria'\"><b>", "</b></font>");
            // 建立 Highlighter ，輸入HTMLFormatter 和 盤古分詞對象Semgent
            Highlighter highlighter =
                new Highlighter(simpleHTMLFormatter,
                    new Segment());
            // 設置每一個摘要段的字符數
            highlighter.FragmentSize = int.MaxValue;
            // 獲取最匹配的摘要段
            var str = highlighter.GetBestFragment(keyword, content);
            return str;
        }

View Code

對關鍵字進行盤古分詞處理

        /// <summary>
        /// 對關鍵字進行盤古分詞處理
        /// </summary>
        /// <param name="keywords"></param>
        /// <param name="ktTokenizer"></param>
        /// <returns></returns>
        private static string GetKeyWordsSplitBySpace(string keywords, PanGuTokenizer ktTokenizer)
        {
            StringBuilder result = new StringBuilder();
            ICollection<WordInfo> words = ktTokenizer.SegmentToWordInfos(keywords);

            foreach (WordInfo word in words)
            {
                if (word == null)
                {
                    continue;
                }
                result.AppendFormat("{0}^{1}.0 ", word.Word, (int)Math.Pow(3, word.Rank));
            }
            return result.ToString().Trim();
        }