從零開始學習MySQL全文索引

目錄

• 1、爲何要用全文索引
• 2、什麼是全文索引
• 3、如何建立全文索引
• 4、建立測試數據
• 5、查詢-使用天然語言模式
• 6、查詢-使用布爾模式（強大的語法）
  • 語法
  • 示例
• 7、查詢-使用擴展模式
• 8、注意事項

1、爲何要用全文索引

咱們在用一個東西前，得知道爲何要用它，使用全文索引無非有如下緣由

1. like查詢太慢、json字段查詢太慢（車太慢了）
2. 沒時間引入ElasticSearch、Solr或者Sphinx這樣的軟件，或者根本就不會用（沒法將五菱宏光換成蘭博基尼，即便有蘭博基尼也不會開）
3. 加索引、聯合索引啥的都已經慢得不行了（限速80，車頂蓋都卸了也只能開到30）
4. 爲了提高一下本身的逼格（人家問你有沒有開過法拉利，你說開過確定更有氣質一點）

2、什麼是全文索引

簡單的說，全文索引就至關於大詞典中的目錄，經過查詢目錄能夠快速定位到想看的內容。
全文索引經過創建倒排索引來快速匹配文檔（僅在mysql5.6版本以上支持）
全文索引將連續的字母、數字和下劃線當作一個單詞，分割單詞通常用空格/逗號/句號
MySQL的全文索引支持如下3種查詢模式：

1. 天然語言模式（IN NATURAL LANGUAGE MODE）
   經過MATCH AGAINST 傳遞某個特定的字符串來進行檢索
2. 布爾模式（IN BOOLEAN MODE）
   支持操做符，例如+表示包含，-表示不包含
3. 擴展模式（WITH QUERY EXPANSION）
   至關於天然語言模式下的一個擴展，執行兩次檢索，第一次使用給定短語檢索，第二次是結合第一次相關性比較高的行進行檢索.

更多請看：官方文檔

下面教你們如何建立全文索引，並建立測試數據演示三種查詢模式的使用

3、如何建立全文索引

• 方式一：建表時指定

CREATE TABLE light_weight_baby ( 
    id INT AUTO_INCREMENT NOT NULL PRIMARY KEY, 
    title VARCHAR(200), 
    content TEXT, 
    FULLTEXT(title, content) 
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ;

• 方式二：ALTER添加

ALTER TABLE table_name ADD FULLTEXT INDEX index_name (column1,column2,...);

• 方式三：CRATE INDEX添加

CREATE FULLTEXT INDEX index_name ON table_name (column1,column2,...);

4、建立測試數據

建立一個數據庫用來演示這三種模式下的檢索

CREATE DATABASE chenqionghe DEFAULT CHARSET utf8;

建立一個文章表並插入測試數據

CREATE TABLE articles (
    id INT UNSIGNED AUTO_INCREMENT NOT NULL PRIMARY KEY,
    title VARCHAR(200),
    body TEXT,
    FULLTEXT (title,body)
) ENGINE=InnoDB;

插入測試數據

INSERT INTO articles (title,body) VALUES
    ('MySQL Tutorial','DBMS stands for DataBase ...'),
    ('How To Use MySQL Well','After you went through a ...'),
    ('Optimizing MySQL','In this tutorial we will show ...'),
    ('1001 MySQL Tricks','1. Never run mysqld as root. 2. ...'),
    ('MySQL vs. YourSQL','In the following database comparison ...'),
    ('MySQL Security','When configured properly, MySQL ...');

執行結果以下

5、查詢-使用天然語言模式

這是MySQL的默認查詢模式，簡單示例以下

SELECT * FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' IN NATURAL LANGUAGE MODE);

能夠看到，不區分大小寫，title或body包含database的都返回了，另外，返回的結果將以相關性進行排序。

相關性：根據行中的字段、惟一單詞的數量、集合中單詞總數和包含特定單詞的行數計算。

下面經過兩種方式統計數量

# 第一種方式
 SELECT COUNT(*) FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' IN NATURAL LANGUAGE MODE);
# 第二種方式
SELECT
   COUNT(IF(MATCH (title,body) AGAINST ('database' IN NATURAL LANGUAGE MODE), 1, NULL))
    AS count
    FROM articles;

第一種作了一些額外的工做（按相關性對結果進行排序），但也能使用索引進行查詢。
第二種執行了全表掃描，若是搜索項出如今大多數行中，可能比索引查詢更快
匹配少數行，第一種快，匹配大多數行，第二種快

下面演示如何檢索相關性，但不會進行排序（由於不包含WHERE和ORDER BY）

SELECT id, MATCH (title,body)
     AGAINST ('Tutorial' IN NATURAL LANGUAGE MODE) AS score
    FROM articles;

下面的示例更復雜，返回倒序後的相關性值，分別在SELECT和WHERE語句中使用了MATCH，可是不會致使額外的開銷，由於mysql優化器注意到兩次MATCH是相同的，只會使用一次全文搜索

SELECT id, body, MATCH (title,body) AGAINST
    ('Security implications of running MySQL as root'
    IN NATURAL LANGUAGE MODE) AS score
    FROM articles WHERE MATCH (title,body) AGAINST
    ('Security implications of running MySQL as root'
    IN NATURAL LANGUAGE MODE);

包含在("")中字符中的會被分解爲單詞，而後在全文索引中進行搜索，簡單的說，就是進行OR查詢。

6、查詢-使用布爾模式（強大的語法）

使用布爾模式須要指定IN BOOLEAN MODE，不會自動根據相關性排序，一些字符具備特殊的含義，例如能夠經過+或-表示一個單詞必須存在或不存在。
下面的sql語句表明查詢必須 包含MySQL但不包含YourSQL

SELECT * FROM articles WHERE MATCH (title,body)
    AGAINST ('+MySQL -YourSQL' IN BOOLEAN MODE);

語法

• +
  必須出現
• -
  必須不出現。
  注意：這個操做符是用來排除其餘操做符的結果，若是隻指定這個，將什麼都不返回
• 無符號
  默認狀況，表明或，自動分詞搜索。和沒有指定IN BOOLEAN MODE的結果同樣
• @distance
  用來測試兩個或兩個以上的單詞是否都在一個指定的距離內，在@距離前指定雙引號中的搜索詞，例如MATCH(col1) AGAINST('"word1 word2 word3" @8' IN BOOLEAN MODE
• >
  提升該條匹配數據的權重值
• <
  下降該條匹配數據的權重值
• ()
  至關於表達式分組，和咱們數學中的表達式一個道理
• ~
  將其相關性由正轉負，表示擁有該字會下降相關性，例如+apple ~macintosh 先匹配apple，但若是同時包含macintosh，排名會靠後
• *
  通配符，只能在字符串後面使用
• "
  徹底匹配，被雙引號包起來的單詞必須整個被匹配

示例

• apple banana
  包含apple或banana其中一個
• +apple +juice
  必須同時包含apple和juice
• +apple macintosh
  包含apple，可是若是同時包含macintosh會給更高的排序
• +apple -macintosh
  包信apple可是不包含macintosh
• +apple ~macintosh
  包含apple，若是同時包含macintosh下降權重
• +apple +(>turnover <strudel)
  1.包含apple和turnover，或，包含apple和strudel
  2.包含apple和turnover權重高於包含apple和strudel的記錄
• apple*
  包含apple單詞的行， 「apple」, 「apples」, 「applesauce」, 「applet」都會被匹配到
• "some words"
  徹底匹配some words的行，例如 「some words of wisdom」能匹配但「some noise words」匹配不到

7、查詢-使用擴展模式

當搜索短語很短時很是有用，例如搜索database可能意味着MySQL、Oracle、DB二、RDBMS都要被匹配到，這就是這個模式能作的。
添加WITH QUERY EXPANSION或 IN NATURAL LANGUAGE MODE WITH QUERY EXPANSION啓用，它會執行兩次檢索，第一次使用給定短語檢索，第二次是結合第一次相關性比較高的行進行檢索。
例以下面的例子

# 天然語言模式
SELECT * FROM articles
     WHERE MATCH (title,body)
    AGAINST ('database' IN NATURAL LANGUAGE MODE);

# 擴展模式
SELECT * FROM articles
    WHERE MATCH (title,body)
    AGAINST ('database' WITH QUERY EXPANSION);

能夠看到第二條語句找到了包含MySQL的行，即便該行不包含database，可是由於在第一次的搜索中搜索引擎判斷MySQL和database的相關性比較高，因此在執第二次搜索的時候返回了。

8、注意事項

1. 只能在類型爲CHAR、VARCHAR或者TEXT的字段上建立全文索引
2. MATCH (字段) AGAINST (關鍵詞)，必須和建立時的字段一塊兒，例如MATCH (light,weight,baby)使用的字段名與全文索引muscle(light,weight,baby)定義的字段名一致。若是隻對單個字段查詢，須要分別建立全文索引
3. 全文索引是以詞爲基礎的，innodb_ft_min_token_size和innodb_ft_max_token_size用來設置單詞的最大和最小長度，不在這個長度區間的將忽略。
4. 在停用詞stopwords中的將被忽略
5. 若是要導入大量數據，先導入數據再建全文索引，比先建全文索引再導入數據的方式快不少。
6. 在MySQL 5.7.6以前，全文索引只支持英文全文索引，不支持中文全文索引，MySQL 5.7.6後內置了ngram全文解析器，支持中文、日文、韓文分詞。