在windows下Sphinx\Coreseek的配置安裝與測試

時間  2020-08-01
標籤 windows sphinx coreseek 配置 安裝 測試 欄目 Windows 简体版
原文   原文鏈接

1、關於Sphinxphp

Sphinx 是一個在GPLv2 下發布的一個全文檢索引擎，商業受權（例如, 嵌入到其餘程序中）須要聯繫做者（Sphinxsearch.com）以得到商業受權。html

通常而言，Sphinx是一個獨立的搜索引擎，意圖爲其餘應用提供高速、低空間佔用、高結果相關度的全文搜索功能。Sphinx能夠很是容易的與SQL數據庫和腳本語言集成。python

當前系統內置MySQL和PostgreSQL 數據庫數據源的支持，也支持從標準輸入讀取特定格式的XML數據。經過修改源代碼，用戶能夠自行增長新的數據源（例如：其餘類型的DBMS的原生支持）。mysql

搜索API支持PHP、Python、Perl、Rudy和Java，而且也能夠用做MySQL存儲引擎。搜索API很是簡單，能夠在若干個小時以內移植到新的語言上。算法

Sphinx特性：sql

  • 高速的創建索引(在當代CPU上，峯值性能可達到10MB/秒);
  • 高性能的搜索(在2–4GB的文本數據上，平均每次檢索響應時間小於0.1秒);
  • 可處理海量數據(目前已知能夠處理超過100GB的文本數據,在單一CPU的系統上可處理100M文檔);
  • 提供了優秀的相關度算法，基於短語類似度和統計（BM25）的複合Ranking方法;
  • 支持分佈式搜索;
  • 提供文件的摘錄生成;
  • 可做爲MySQL的存儲引擎提供搜索服務;
  • 支持布爾、短語、詞語類似度等多種檢索模式;
  • 文檔支持多個全文檢索字段(最大不超過32個);
  • 文檔支持多個額外的屬性信息(例如：分組信息，時間戳等);
  • 中止詞查詢;
  • 支持單一字節編碼和UTF-8編碼;
  • 原生的MySQL支持(同時支持MyISAM和InnoDB);
  • 原生的PostgreSQL支持.

中文手冊能夠在這裏得到，感謝譯者的辛勤工做。數據庫

2、Sphinx在windows上的安裝windows

1.直接在http://www.sphinxsearch.com/downloads.html找到最新的windows版本，我這裏下的是Win32 release binaries with MySQL support，下載後解壓在D:\sphinx目錄下；api

2.在D:\sphinx\下新建一個data目錄用來存放索引文件，一個log目錄方日誌文件，複製D:\sphinx\sphinx.conf.in到D:\sphinx\bin\sphinx.conf（注意修改文件名）；服務器

3.修改D:\sphinx\bin\sphinx.conf，我這裏列出須要修改的幾個：

type        = mysql # 數據源，我這裏是mysql
sql_host    = localhost # 數據庫服務器
sql_user    = root # 數據庫用戶名
sql_pass    = '' # 數據庫密碼
sql_db      = test # 數據庫
sql_port    = 3306 # 數據庫端口
sql_query_pre   = SET NAMES utf8 # 去掉此行前面的註釋，若是你的數據庫是uft8編碼的
index test1
{
# 放索引的目錄
 path   = D:/sphinx/data/
# 編碼
 charset_type  = utf-8
 #  指定utf-8的編碼表
 charset_table  = 0..9, A..Z->a..z, _, a..z, U+410..U+42F->U+430..U+44F, U+430..U+44F
 # 簡單分詞，只支持0和1，若是要搜索中文，請指定爲1
 ngram_len    = 1
# 須要分詞的字符，若是要搜索中文，去掉前面的註釋
 ngram_chars   = U+3000..U+2FA1F
}
# index test1stemmed : test1
# {
 # path   = @CONFDIR@/data/test1stemmed
 # morphology  = stem_en
# }

 

# 若是沒有分佈式索引，註釋掉下面的內容

# index dist1
# {
 # 'distributed' index type MUST be specified
 # type    = distributed

 # local index to be searched
 # there can be many local indexes configured
 # local    = test1
 # local    = test1stemmed
 # remote agent
 # multiple remote agents may be specified
 # syntax is 'hostname:port:index1,[index2[,...]]
 # agent    = localhost:3313:remote1
 # agent    = localhost:3314:remote2,remote3
 # remote agent connection timeout, milliseconds
 # optional, default is 1000 ms, ie. 1 sec
 # agent_connect_timeout = 1000
 # remote agent query timeout, milliseconds
 # optional, default is 3000 ms, ie. 3 sec
 # agent_query_timeout  = 3000
# }
# 搜索服務須要修改的部分
searchd
{
 # 日誌
 log     = D:/sphinx/log/searchd.log
 # PID file, searchd process ID file name
 pid_file   = D:/sphinx/log/searchd.pid
 # windows下啓動searchd服務必定要註釋掉這個
 # seamless_rotate  = 1
}

4.導入測試數據

C:\Program Files\MySQL\MySQL Server 5.0\bin>mysql -uroot test<d:/sphinx/example.sql

5.創建索引

D:\sphinx\bin>indexer.exe –all
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff

using config file ‘./sphinx.conf’…
indexing index ‘test1′…
collected 4 docs, 0.0 MB
sorted 0.0 Mhits, 100.0% done
total 4 docs, 193 bytes
total 0.101 sec, 1916.30 bytes/sec, 39.72 docs/sec

D:\sphinx\bin>

6.搜索’test’試試

D:\sphinx\bin>search.exe test
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff

using config file ‘./sphinx.conf’…
index ‘test1′: query ‘test ‘: returned 3 matches of 3 total in 0.000 sec

displaying matches:
1. document=1, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008
        id=1
        group_id=1
        group_id2=5
        date_added=2008-11-26 14:58:59
        title=test one
        content=this is my test document number one. also checking search within
 phrases.
2. document=2, weight=2, group_id=1, date_added=Wed Nov 26 14:58:59 2008
        id=2
        group_id=1
        group_id2=6
        date_added=2008-11-26 14:58:59
        title=test two
        content=this is my test document number two
3. document=4, weight=1, group_id=2, date_added=Wed Nov 26 14:58:59 2008
        id=4
        group_id=2
        group_id2=8
        date_added=2008-11-26 14:58:59
        title=doc number four
        content=this is to test groups

words:
1. ‘test’: 3 documents, 5 hits
D:\sphinx\bin>

都所出來了吧。

6.測試中文搜索

修改test數據庫中documents數據表，

UPDATE `test`.`documents` SET `title` = ‘測試中文’, `content` = ‘this is my test document number two，應該搜的到吧’ WHERE `documents`.`id` = 2;

重建索引：

D:\sphinx\bin>indexer.exe –all

搜索’中文’試試：

D:\sphinx\bin>search.exe 中文
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff

using config file ‘./sphinx.conf’…
index ‘test1′: query ‘中文 ‘: returned 0 matches of 0 total in 0.000 sec

words:
D:\sphinx\bin>

貌似沒有搜到，這是由於windows命令行中的編碼是gbk，固然搜不出來。咱們能夠用程序試試，在D:\sphinx\api下新建一個foo.php的文件，注意utf-8編碼

<?php
require ‘sphinxapi.php’;
$s = new SphinxClient();
$s->SetServer(‘localhost’,3312);
$result = $s->Query(‘中文’);
var_dump($result);
?>

啓動Sphinx searchd服務

D:\sphinx\bin>searchd.exe
Sphinx 0.9.8-release (r1533)
Copyright (c) 2001-2008, Andrew Aksyonoff

WARNING: forcing –console mode on Windows
using config file ‘./sphinx.conf’…
creating server socket on 0.0.0.0:3312
accepting connections

執行PHP查詢：

php d:/sphinx/api/foo.php

使用 CORESEEK 分詞

1 、下載 http://www.coreseek.cn/news/5/89/

2 、安裝系統依賴的軟件包

系統的基礎組件須要以下的軟件包：

   - Active Python 2.5 ( http://www.activestate.com/Products/activepython/ )
   - MySQL_Python 1.2.2 (http://sourceforge.net/project/showfiles.php?group_id=22307 ） 驗證 能夠不裝

安裝完前面兩個組件後，系統能夠運行，可是須要手工修改配置文件。

安裝配置界面須要的軟件包：

- gtk-dev 2.12.9 (http://sourceforge.net/project/showfiles.php?group_id=98754 ) 驗證能夠不裝 
    - pycairo 1.4.12 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pycairo/1.4/ ) 
    - pygobject 2.14.1 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pygobject/2.14/ ) 
    - pygtk 2.12.1 (http://ftp.acc.umu.se/pub/GNOME/binaries/win32/pygtk/2.12 ) )

若是您下載的是完整版，前面提到的所有文件應該能在preq 子目錄中找到。
安裝前面提到的所有軟件包（注意：必須先安裝Python 和gtk)

注意: 必須是Active Python ，Python 官方的版本缺乏系統須要的Win32 擴展支持，將致使系統沒法工做。

注意： 完成本步後，必須從新啓動您的計算機。

3 、解壓 csft 到你認爲的目錄

4 、csft 文件內配與 sphinx 的內容大體相同 ( 配置詳細見:sphinx+mysql (1) , (2) )

5 、建立詞典文件

/bin/mmseg -u /data/unigram.txt    # 詞庫是動態的，指定目錄就能夠

·   把生成的文件更名爲uni.lib ，

6 、導入sample.sql 數據庫

7 、創建索引 index.exe --all   （詳情見 sphinx + mysql(1) ）

如下分支說明以下

---------------------------------------------------------------

A ：

8 、安裝SPHINXSE FOR MYSQL

http://www.sphinxsearch.com/downloads/mysql-5.0.45-sphinxse-0.9.8-win32.zip

下載後，解壓而後覆蓋MYSQL 目錄，就OK 。 ( 注意mysql 版本 必須相同)

進入mysql 運行 show engines; 查看錶的類型是否存在 sphinx

9 、建立Sphinx 存儲引擎表
CREATE TABLE `sphinx` (
`id` int(11) NOT NULL,
`weight` int(11) NOT NULL,
`query` varchar(255) NOT NULL,
`group_id` int(11) NOT NULL,
KEY `Query` (`Query`)
) ENGINE=SPHINX CONNECTION='sphinx://localhost:3312/test1';

與通常mysql 表不一樣的是ENGINE=SPHINX CONNECTION='sphinx://localhost:3312/test1'; ，這裏表示這個表採用SPHINXSE 引擎，與sphinx 的鏈接串是'sphinx://localhost:3312/test1 ，test1 是索引名稱
根據sphinx 官方說明，這個表必須至少有三個字段，字段起什麼名稱無所謂，但類型的順序必須是integer,integer,varchar ，分別表示記錄標識document ID, 匹配權重weight 與查詢query ，同時document ID與query 必須建索引。另外這個表還能夠創建幾個字段，這幾個字段的只能是integer 或TIMESTAMP 類型，字段是與sphinx 的結果集綁定的，所以字段的名稱必須與在sphinx.conf 中定義的屬性名稱一致，不然取出來的將是Null 值。

10 、MySQL SphinxSE 全文檢索存儲引擎SQL 語句使用方法

安裝SphinxSE 存儲引擎後首先需新建一張特殊的指定"ENGINE=SPHINX" 檢索表，以下：

CREATE TABLE ArticleFulltext (
    ID          INTEGER NOT NULL,
    Weight      INTEGER NOT NULL,
    Query      VARCHAR(3072) NOT NULL,
    ...
    INDEX (Query)
) ENGINE=SPHINX CONNECTION="sphinx://localhost:3312/test";

·   其中表名和字段名能夠是任意名稱，但前三個屬性的類型必須爲INT 、INT 和VARCHAR 。也能夠擁有更多的屬性，類型必須爲INT 或TIMESTAMP ，名稱必須與Sphinx 配置文件對應，用於返回檢索結果的更多信息。

·   建立該表後便可使用以下的SQL 語句在MySQL 中進行全文檢索：

·   SELECT * FROM ArticleFulltext WHERE Query=' 全文檢索條件';

·   查詢返回結果即爲全文檢索的結果，包括文檔ID 、權重，若ArticleFulltext 表包含了更多屬性還包含命中結果的其它信息。

·   經過SQL 聯接操做能夠很容易的實現融合檢索，如：

·   SELECT ID, Title 
FROM Article, ArticleFulltext
WHERE ArticleFulltext.ID = Article.ID and Query = ' 博客' 
AND PublishTime > '2007-03-01' AND ReferCount > 0
ORDER BY Weight * 0.5 + ReferCount * 0.5;

·   上述SQL 語句便可檢索出2007 年3 月1 日以來包含' 博客' 關鍵字且並引用過的文章，且按全文檢索權重和引用數綜合計算所得的權重進行排序。

·   因而可知，經過將全文檢索系統提供的功能以存儲引擎的形式嵌入到關係數據庫MySQL 中能夠很方便的提供融合檢索功能，雖然功能限制較多，也不失爲一種聰明便捷的方式。

11, 將SPHINX 生成WINDOWS 服務

searchd --install --config "csft.conf"

12. 啓動服務 net start |searchd( 或者其它服務名)

---------------------------------------------------------------

B ：

配置sphinx.conf 文件，支持中文編碼


charset_type = zh_cn.utf-8 
charset_dictpath = D:/csft3.1/bin   # 分詞 lib 庫文件的目錄 min_infix_len = 0

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程