linux環境下安裝sphinx中文支持分詞搜索(coreseek+mmseg)

  linux環境下安裝sphinx中文支持分詞搜索(coreseek+mmseg) 2013-11-10 16:51:14

分類： 系統運維

 

爲何要寫這篇文章？

  答：經過常規的三大步（./configure,make,make install）的編譯安裝mmseg時，老是出現找不到src/Makefile.in文件的錯誤（config.status: error: cannot find input file: src/Makefile.in）。即使是依照官方教程所說的先安裝好依賴軟件（yum -y install glibc-common libtool autoconf automake mysql-devel expat-devel，若是是用編譯安裝的方法安裝的Mysql就不用裝mysql-devel，在編譯csf時指定Mysql的安裝目錄便可）也沒法解決問題。

 

官方安裝說明：（原文）
============================================================

依賴環境安裝：
Debina等使用deb系統：
aptitude -y install yum glibc-common build-essential libtool autoconf automake libexpat-dev  mysql-client （若是是用編譯安裝的方法安裝的Mysql就不用裝mysql-client ，在編譯csf時指定Mysql的安裝目錄便可）
Centos等使用yum系統：
yum -y install glibc-common libtool autoconf automake expat-devel  mysql-devel （若是是用編譯安裝的方法安裝的Mysql就不用裝mysql-devel，在編譯csf時指定Mysql的安裝目錄便可）
BSD系統：
pkg_add -r libtool autoconf automake mysql5-client iconv
安裝升級autoconf
coreseek須要autoconf 2.64以上版本，所以須要升級autoconf，否則會報錯從http://download.chinaunix.net/download.php?id=29328&ResourceID=648下載autoconf-2.64.tar.bz2，安裝方法以下：

tar -jxvf autoconf-2.64.tar.bz2

cd autoconf-2.64

./configure

make

make instal

coresek source下載
http://www.coreseek.cn/uploads/csft/3.2/coreseek-3.2.14.tar.gz
mmseg安裝：

tar xzvf coreseek-3.2.14.tar.gz
cd coreseek-3.2.14
ls
csft-3.2.14 mmseg-3.2.14 README.txt testpack
cd mmseg-3.2.14
aclocal
libtoolize --force
automake --add-missing
autoconf
autoheader
make clean #此時若有錯誤可忽略無論
./configure --prefix=/usr/local/mmseg3
make
make install

cp -f src/*/*.h /usr/local/mmseg3/include/mmseg/

必定要執行以上的拷貝，不然coreseek在make編譯時會出錯。

coreseek安裝：

cd ..
cd csft-3.2.14
bash buildconf.sh
aclocal
libtoolize --force
automake --add-missing
autoconf
autoheader
perl -pi -e 's/lpthread/lpthread -liconv/g' src/Makefile*
make clean #此時若有錯誤可忽略無論
./configure --prefix=/usr/local/coreseek --enable-id64 --without-python --with-mysql=/usr/local/mysql --with-mmseg --with-mmseg-includes=/usr/local/mmseg3/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg3/lib/
make
make install

cp /usr/local/coreseek/etc/sphinx.conf.dist /usr/local/coreseek/etc/csft.conf

測試 mmseg 分詞和 coreseek 搜索 :  參考 http://blog.chinaunix.net/uid-20639775-id-3261834.html
備註：須要預先設置好字符集爲zh_CN.UTF-8，確保正確顯示中文，個人系統字符集爲en_US.UTF-8也是能夠的。

cd testpack

cat var/test/test.xml #此時應該正確顯示中文

/usr/local/mmseg3/bin/mmseg -d /usr/local/mmseg3/etc var/test/test.xml

/usr/local/coreseek/bin/indexer -c etc/csft.conf --all

/usr/local/coreseek/bin/search -c etc/csft.conf 網絡搜索

此時正確的應該返回

words:

1. '網絡': 1 documents, 1 hits

2. '搜索': 2 documents, 5 hits

**************分詞庫*****************

 

mkdir -p /usr/local/mmseg3/etc

cp <mmseg_soft_rootdir>/data/unigram.txt /usr/local/mmseg3/etc/

cd  /usr/local/mmseg3/etc

../bin/mmseg -u unigram.txt

生成unigram.txt.uni

cp unigram.txt.uni uni.lib

【分詞庫配置說明】

vi mmseg.ini

在裏面添加內容
[mmseg]
merge_number_and_ascii=1;
number_and_ascii_joint=-.;
compress_space=0;
seperate_number_ascii=1;
以上解釋以下
//
merge_number_and_ascii: 字母和數字連續出現是非切分
number_and_ascii_joint:鏈接數字和字母可用的符號，如’-’ ‘.’ 等
compress_space：暫時無效
seperate_number_ascii：是否拆分數字，如 1988 -> 1/x 9/x 8/x 8/x
//

*********************************

cd /usr/local/coreseek/

bin/indexer --all [--config sphinx.conf] 用於建立全文索引

bin/search <搜索關鍵字>   一個簡單的命令行(CLI) 的測試程序，用於測試全文索引;

bin/searchd [--config sphinx.conf] 一個守護進程，其餘軟件能夠經過這個守護進程進行全文檢索;

附加：

1. 如需啓用python支持，請安裝或者升級至python2.6，configure之中，去掉--without-python，加上--with-python，而後從新編譯安裝
python data source演示：下載

2. 若是不能夠搜索中文，請首先檢查英文是否正常；如英文正常，則請檢查：
  a. charset_dictpath = etc/dict/   #請確保uni.lib在此目錄下
      charset_type = zh_cn.utf-8
  b. charset_table的配置請註釋掉
  c. 請確保從數據來源讀取的數據，爲utf-8字符集；
　　MySQL4.1起能夠經過SET NAMES設定輸出字符集，即便原始數據爲GBK；
　　MySQL4.1如下版本，請直接聯繫咱們解決GBK問題；
  d. 請確保你測試檢索時，傳送到search或者searchd的字符串尾utf-8
  e. 請查看search或者Query返回信息中，分詞信息是否正確
  d. 詞典的設置和構建，具體請查看mmseg
  f. 請前往 論壇 提出問題


3. 若是提示：iniparser: cannot open /usr/local/csft/mmseg.ini
　請前往查看mmseg.ini具體設置方法

4. 若是提示no working pthreads library found，請參考。
===============================================================
5. coreseek啓動腳本
coreseek源碼包裏沒有啓動程序，只能手動經過命令來啓動，將下面的文件命名爲shinxed，保存在/etc/ini.d/裏，就能夠實現相應的系統自動啓過徎。

#!/bin/sh
# sphinx: Startup script for Sphinx search
#
# chkconfig: 345 86 14
# description: This is a daemon for high performance full text \
# search of MySQL and PostgreSQL databases. \
# See http://www.sphinxsearch.com/ for more info.
#
# processname: searchd
# pidfile: /var/run/coreseek.pid

# Source function library.
. /lib/lsb/init-functions

sphinxlocation=/usr/local/coreseek
name=coreseek
daemon=$sphinxlocation/bin/searchd
config="-c $sphinxlocation/etc/csft_mysql.conf"

RETVAL=0

PATH=$PATH:$sphinxlocation/bin

start() {
echo -n $"Starting Sphinx daemon: "
start-stop-daemon --start --quiet --pidfile /var/run/$name.pid \
--exec $daemon -- $config || true
echo "$name."
}

stop() {
echo -n $"Stopping Sphinx daemon: "
start-stop-daemon --stop --quiet --pidfile /var/run/$name.pid \
--exec $daemon -- $config || true
}

# See how we were called.
case "$1" in
start)
start
;;
stop)
stop
;;
status)
status $processname
RETVAL=$?
;;
restart)
stop
sleep 3
start
;;
condrestart)
if [ -f /var/run/$name.pid ]; then
stop
sleep 3
start
fi
;;
*)
echo $"Usage: $0 {start|stop|status|restart|condrestart}"
;;
esac
exit $RETVAL

其中condrestart是conditional restart的意思，若是服務當前已是運行的話，它能夠重啓這個服務，可是若是服務沒有運行，condrestart是沒法啓動這個服務的。而restart均可以。

而後可使用 sudo /etc/inid.d/sphinxed start來啓動

ubuntu下開機自動啓動：sudo update-rc.d sphinxed defaults

start-stop-daemon是一個很優秀的後臺運行管理程序,採用C開發。Ubuntu上使用start-stop-daemon比較方便,CetnOS就要手動安裝下。

yum install gcc
cd /tmp
wget http://developer.axis.com/download/distribution/apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gz
tar zxf apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gz
cd apps/sys-utils/start-stop-daemon-IR1_9_18-2/
gcc start-stop-daemon.c -o start-stop-daemon
cp start-stop-daemon /usr/local/bin/start-stop-daemon

5. SphinxClient 安裝php擴展sphinx
或者能夠直接使用$root_path/coreseek-version/testpack/api/目錄中的提供的api接口文件
1.安裝

一、先安裝sphinxclient
#cd /usr/local/src
#wget http://sphinxsearch.com/files/sphinx-0.9.9.tar.gz
#tar xzvf sphinx-0.9.9.tar.gz
#cd sphinx-0.9.9/api/libsphinxclient
#vim sphinxclient.c
找到
void sock_close ( int sock );
改成
static void sock_close ( int sock );
#./configure --prefix=/usr/local/sphinxclient
#make
#make install
二、安裝sphinx擴展
#wget http://pecl.php.net/get/sphinx-1.0.4.tgz
#tar xvzf sphinx-1.0.4.tgz
#cd sphinx-1.0.4
#/usr/local/php/bin/phpize
#./configure --with-php-config=/usr/local/php/bin/php-config --with-sphinx=/usr/local/sphinxclient
#make
#make install
修改php.ini
extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/"
[sphinx]
extension=sphinx.so

2.測試
   一、安裝sphinx
      請參照文檔 http://linux008.blog.51cto.com/2837805/622088
二、編寫測試文件

#vim sphinx.php

$s = new SphinxClient;
setServer("localhost", 9312);
$s->setMatchMode(SPH_MATCH_ANY);
$s->setMaxQueryTime(3);
$result = $s->query("demo");
var_dump($result);
?>
#/usr/local/php/bin/php sphinx.php 運行結果
array(9) {
["error"]=>
string(0) ""
["warning"]=>
string(0) ""
["status"]=>
int(0)
["fields"]=>
array(5) {
[0]=>
string(6) "cat_id"
[1]=>
string(13) "provider_name"
[2]=>
string(12) "goods_number"
[3]=>
string(18) "promote_start_date"
[4]=>
string(8) "keywords"
}
["attrs"]=>
array(8) {
["goods_sn"]=>
string(1) "3"
["goods_name"]=>
string(1) "3"
["brand_id"]=>
string(1) "1"
["goods_weight"]=>
string(1) "5"
["market_price"]=>
string(1) "5"
["shop_price"]=>
string(1) "5"
["promote_price"]=>
string(1) "5"
["gid"]=>
string(10) "1073741825"
}
["total"]=>
int(0)
["total_found"]=>
int(0)
["time"]=>
float(0)
["words"]=>
array(1) {
["demo"]=>
array(2) {
["docs"]=>
int(0)
["hits"]=>
int(0)
}
}
}