Mysql+sphinx+中文分詞簡介

1、編譯先前條件

確認是否已經安裝如下軟件,有些也許不是必須的,但建議仍是都裝上。

apt-get install autoconf automake autotools-dev cpp curl gawk gcc lftp libc6-dev linux-libc-dev make libpcre3-dev libpcrecpp0 g++ libtool libncurses5-dev

 

aptitude install libmysql++-dev libmysqlclient15-dev checkinstall

 

apt-get install python python-dev

2、安裝所需文件

所需文件列表

mmseg-0.7.3.tar.gz                             中文分詞   

mysql-5.1.26-rc.tar.gz                        mysql-5.1.26源代碼

sphinx-0.9.8-rc2.tar.gz                     sphinx-0.9.8-rc2源代碼

fix-crash-in-excerpts.patch                 sphinx支持分詞補丁

sphinx-0.98rc2.zhcn-support.patch      sphinx支持分詞補丁

 

文件能夠到官方下載，附件中我將會提供該系列文件。

3、開始安裝

先將以上文件傳到 root目錄下

一、 mmseg-0.7.3 安裝

先解壓安裝文件 tar -zxvf mmseg-0.7.3.tar.gz 

cd mmseg-0.7.3/

./configure

make

make install

cd ../

到此mmseg安裝完畢

能夠嘗試 輸入mmseg 命令,看是否已經安裝成功

 

二、 安裝MySQL 5.1.26-rc、Sphinx、SphinxSE存儲引擎

先解壓 mysql和sphinx源文件

tar zxvf mysql-5.1.26-rc.tar.gz

tar zxvf sphinx-0.9.8-rc2.tar.gz

 

而後給sphinx打上補丁，這個是支持中文必須打的補丁

cd sphinx-0.9.8-rc2/

(請確認已經安裝了patch，若是沒有者 使用 apt-get install patch 安裝)

patch -p1 < ../sphinx-0.98rc2.zhcn-support.patch

patch -p1 < ../fix-crash-in-excerpts.patch

 

接着將sphinx下的mysqlse 文件夾下的數據拷貝到mysql-5.1.26-rc/storage/sphinx 下面(這樣才能在編譯mysql的時候把SphinxSE存儲引擎編譯進去)

cp -rf mysqlse ../mysql-5.1.26-rc/storage/sphinx

到/mysql-5.1.26-rc/storage/sphinx目錄下確認文件是否已經拷貝成功

cd ../

 

下面咱們來編譯安裝mysql-5.1.26-rc

cd mysql-5.1.26-rc/

sh BUILD/autorun.sh 這步是必須的,請勿遺漏

      

       使用configure命令確認安裝

./configure --prefix=/usr/local/mysql --with-charset=utf8 --with-extra-charsets=all --with-plugins=sphinx

確認是否提示可以使用make編譯,若是是。

執行

make

這步執行時間比較長，通常在10-20分鐘，主要看我的電腦配置

編譯成功後.再執行安裝命令(若是出現error,須要從新編譯,通常80%的error都是編譯環境沒有裝好(我的編譯體會))

    make install //這個過程大概須要1分鐘不到的時間

這樣mysql就已經安裝完畢了

 

下面咱們來配置和啓動mysql

添加mysql用戶組和用戶

groupadd mysql

useradd –g mysql mysql

 

給mysql所在目錄添加mysql用戶權限

chown mysql:mysql /usr/local/mysql –R 

 

將my-medium.cnf 拷貝到安裝根目錄

cp /usr/local/mysql/share/mysql/my-medium.cnf /usr/local/mysql/my.cnf

給my.cnf文件添加mysql用戶權限

chown mysql:mysql /usr/local/mysql/my.cnf

 

而後修改my.cnf配置

在skip-external-locking上面插入(配置能夠自定義)

user         = mysql

pid-file     = /usr/local/mysql/mysql.pid

socket             = /tmp/mysq.sock

port         = 3306

basedir            = /usr/local/mysql

datadir             = /usr/local/mysql/data

tmpdir             = /tmp

language   = /usr/local/mysql/share/mysql/English

 

將裏面的# –skin-dbd 註釋掉,不然在執行啓動mysql命令 時會報錯誤

 

爲了能在ubuntu系統下方便的使用mysql, 咱們還須要安裝 mysql-client-5.0 (客戶端)

apt-get install mysql-client-5.0

 

初始化數據庫

/usr/local/mysql/bin/mysql_install_db --defaults-file=/usr/local/mysql/my.cnf --user=mysql

 

執行結果

Installing MySQL system tables...

080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

OK

Filling help tables...

080917 14:36:16 [Warning] Storage engine 'SPHINX' has conflicting typecode. Assigning value 42.

OK

………………..

以上提示表示執行成功

此時你會發現/user/local/mysql 目錄下多了一個data文件夾，這文件夾裏存放的是mysql數據內容

咱們須要給該目錄賦予用戶權限和寫的權限

chown mysql:mysql -R /usr/local/mysql/data/

chmod -R o+w /usr/local/mysql/data/

 

將mysql.server 拷貝成 /etc/init.d/mysqld 文件

cp /usr/local/mysql/share/mysql/mysql.server /etc/init.d/mysqld

並給mysqld添加執行權利

chmod 700 /etc/init.d/mysqld

經過執行

/etc/init.d/mysqld start 啓動mysql  也可使用stop | restart 等一些命令

 

而後咱們輸入mysql 命令，進去

Mysql>

輸入

show engines;

此時咱們能夠看到已經包含sphinxSE 引擎

到此myql部分啓動完畢

 

接着咱們來安裝sphinx-0.9.8-rc2

cd sphinx-0.9.8-rc2/

CPPFLAGS=-I/usr/include/python2.4

LDFLAGS=-lpython2.4

./configure --prefix=/usr/local/sphinx --with-mysql=/usr/local/mysql

make

make install

cd ../

安裝完成後

將sphinx.conf.dist拷貝成sphinx.conf文件

cp /usr/local/sphinx/etc/sphinx.conf.dist /usr/local/sphinx/etc/sphinx.conf

修改sphinx.conf中的配置以下：(配置能夠自定義)

        sql_host                                = localhost

        sql_user                                = root

        sql_pass                                =

        sql_db                                  = test

        sql_port                                = 3306 

 

加載索引

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf --all

注: 先要給libmysqlclient.so.16 創建軟連接

ln -s /usr/local/mysql/lib/mysql/libmysqlclient.so.16 /usr/lib/libmysqlclient.so.16

 

 再經過

 /usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf 開啓索引監聽

 

爲了下面測試方便，咱們先將sphinx.conf自帶的example.sql腳本倒入的mysql中

mysql < /usr/local/sphinx/etc/example.sql //建立了一個test庫，並創建了documents測試表和數據

 

到此安裝部分基本結束，大功告成了一半，下面咱們來談談他們的使用。

 

4、開始使用

一、 在mysql中的使用SphinxSE方式調用Sphinx

 首先創建一張索引專用表：

CREATE TABLE `sphinx` (  

`id` int(11) NOT NULL,  

`weight` int(11) NOT NULL,  

`query` varchar(255) NOT NULL,  

`CATALOGID` INT NOT NULL,  

`EDITUSERID` INT NOT NULL,  

`HITS` INT NULL,  

`ADDTIME` INT NOT NULL,   KEY

`Query` (`Query`)

) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/test1'

 

test1：索引的名稱，能夠在sphinx.conf中查找到

 

創建完索引專用表後，咱們就能夠在mysql中使用它了，例如，在mysql中輸入

SELECT doc. *  FROM documents doc JOIN sphinx ON ( doc.id = sphinx.id )
WHERE query = 'doc;mode= any '

 

            運行後，結果記錄中將會顯示包含doc字符串的所用記錄行

關於query的語法，還有sphinx的配置等信息你能夠請參考：

http://www.sphinxsearch.com/doc.html

這裏有十分詳細的介紹，在這裏咱們只作一個簡單的介紹，但願能起到拋磚引玉的效果。

 

二、 中文分詞的應用

在應用以前咱們先將apache2和 phpmyadmin裝上，以便輸入中文進行測試

       apt-get install apache2

          apt-get install phpmyadmin

      訪問：http://192.168.2.249/phpmyadmin/ 出現了熟悉的界面，ok，安裝成功.

     

      接着咱們須要修改/etc/php5/apache2/php.ini 中的

mysql.default_socket 值 設置成 /tmp/mysql.sock

 

      這樣咱們就能夠在http://192.168.2.249/phpmyadmin/ 上經過root用戶(密碼空) 訪問mysql了

 

        生成和使用分詞字典

             mmseg -u /root/mmseg-0.7.3/data/unigram.txt

      將生成unigram.txt.lib 文件

        將文件拷貝到 /usr/local/sphinx/下面,命名爲uni.lib

         cp unigram.txt.lib /usr/local/sphinx/uni.lib

      修改 sphinx.conf(/usr/local/sphinx/etc/sphinx.conf)配置文件

      在索引中加入

charset_type = zh_cn.utf-8
charset_dictpath = /usr/local/sphinx/

配置

 而後經過

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf –all  

(若是searchd已經再運行，先kill 它再運行,下一部分，咱們會介紹怎樣在searchd運行的狀態下，加載索引)

重建索引,成功後，開啓索引監聽

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf

 

       這樣，就能夠在phpmyadmin中進行測試了。

      SELECT doc. *  FROM documents doc JOIN sphinx ON ( doc.id = sphinx.id )
WHERE query = '張學友;mode= any '

 

注意：在添加完數據後，須要從新加載索引，這樣新的數據才能被緩存進去

5、實際應用介紹

       經過以上的介紹，如今咱們已經基本能使用這套東西了，下面咱們來對索引的管理作一些介紹。

   

       實時更新索引

       在實際應用中每每有這麼一種狀況，數據庫數據很大，好比咱們的歌曲表，若是咱們每次都去更新整個表的索引，對系統得開銷將很是大，顯然這是不合適，這時咱們會發現，天天咱們須要更新的數據相比較而言較少，在這種狀況下咱們就須要使用「主索引+增量索引」的模式來實現實時更新的功能。

這個模式實現的基本原理是設置兩個數據源和兩個索引，爲那些基本不更新的數據創建主索引，而對於那些新增的數據創建增量索引。主索引的更新頻率咱們能夠設置的長一些(能夠設置在天天的午夜進行更新)，而增量索引的更新頻率，咱們能夠將時間設置的很短(幾分鐘左右)，這樣在用戶搜索的時候，咱們能夠同時查詢這兩個索引的數據。

下面，咱們經過一個簡單的例子來描述一下怎樣實現這種模式

 

以sphinx.conf中默認的數據爲例:

 

先在mysql中插入一個計數表和兩個索引表

CREATE TABLE sph_counter

(

    counter_id INTEGER PRIMARY KEY NOT NULL,

    max_doc_id INTEGER NOT NULL

);

//主索引使用(確認以前是否已經創建過該表，若是已經創建，這裏就不須要從新建了)

CREATE TABLE `sphinx` (  

`id` int(11) NOT NULL,  

`weight` int(11) NOT NULL,  

`query` varchar(255) NOT NULL,  

`CATALOGID` INT NOT NULL,  

`EDITUSERID` INT NOT NULL,  

`HITS` INT NULL,  

`ADDTIME` INT NOT NULL,   KEY

`Query` (`Query`)

) ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/test1'

    //增量索引使用

CREATE TABLE `sphinx1` (  

`id` int(11) NOT NULL,  

`weight` int(11) NOT NULL,  

`query` varchar(255) NOT NULL,  

`CATALOGID` INT NOT NULL,  

`EDITUSERID` INT NOT NULL,  

`HITS` INT NULL,  

`ADDTIME` INT NOT NULL,   KEY

`Query` (`Query`)

)ENGINE=SPHINX DEFAULT CHARSET=utf8 CONNECTION='sphinx://localhost:3312/ test1stemmed '

 

數據庫操做完畢後再來配置sphinx.conf

         source src1

{

                  sql_query_pre = REPLACE INTO sph_counter SELECT 1, MAX(id) FROM documents

                  sql_query                               = "

                            SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content "

                            FROM documents "

                            WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )      

                   ………….. //其餘能夠默認

　　　}

         source src1throttled : src1

{

         sql_ranged_throttle                         = 100

                  sql_query                               = "

                   SELECT id, group_id, UNIX_TIMESTAMP(date_added) AS date_added, title, content "

                   FROM documents "

                   WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

}

index test1                    //主索引

{

         source                           = src1

         ……….

｝

index test1stemmed : test1　　　//增量索引

{

         source                           = src1throttled

         ……

}

  

配置完成後，我在經過

/usr/local/sphinx/bin/indexer --config /usr/local/sphinx/etc/sphinx.conf –all 和

/usr/local/sphinx/bin/searchd --config /usr/local/sphinx/etc/sphinx.conf

從新加載索引，執行成功後咱們就能夠來使用它了。

　你能夠往documents表中添加新的數據，好比咱們插入一條這樣的數據：

執行命令：　

SELECT doc.* FROM documents doc join sphinx on (doc.id=sphinx.id) where query='test'　

　

　你會發現你剛添加的數據沒有被檢索出來

　而後執行：

       SELECT doc.* FROM documents doc join sphinx１ on (doc.id=sphinx１.id) where query='test'

　你會發現數據是空的，這時咱們就須要來更新增量索引了。

　

　經過執行：

/usr/local/sphinx/bin/indexer --rotate --config /usr/local/sphinx/etc/sphinx.conf test1stemmed　命令來更新增量索引(正式使用時，咱們能夠將該命令配置到系統計劃任務中，每格幾分鐘執行一次)

--rotate: 該參數可使咱們在不須要中止searchd的狀況下，直接加載索引

 

執行完命令該命令後，咱們再來查看一下增量索引的數據

　SELECT doc.* FROM documents doc join sphinx１ on (doc.id=sphinx１.id) where query='test'

你會發現新添加的數據被檢索出來的。

 

　主索引的更新：

　　/usr/local/sphinx/bin/indexer --rotate --config /usr/local/sphinx/etc/sphinx.conf test1　(咱們能夠設置成天天的午夜執行)

 

只有在更新了主索引後，

　SELECT doc.* FROM documents doc join sphinx on (doc.id=sphinx.id) where query='test'

的結果纔會被更新

咱們也能夠經過合併索引的方式使主索引的數據保持更新

經過執行

/usr/local/sphinx/bin/indexer --merge test1 test1stemmed --merge-dst-range deleted 0 0 --rotate

 

能夠將增量索引test1stemmed合併到主索引test1中去

 

注意：在你測試的過程當中，mysql的查詢緩存可能會給你帶來一些困惑，因此測試時最好將其關閉。

關閉方法：

set global query_cache_size = 0;　//禁止緩存開銷

你能夠經過　SHOW VARIABLES LIKE '%query_cache%　來察看緩存狀態

　

　　　

到此Mysql+sphinx+中文分詞的應用部分介紹完畢了。