[Elasticsearch] 多字段搜索 (五) - 以字段爲中心的查詢

以字段爲中心的查詢(Field-centric Queries)

上述提到的三個問題都來源於most_fields是以字段爲中心(Field-centric)，而不是以詞條爲中心(Term-centric)：它會查詢最多匹配的字段(Most matching fields)，而咱們真正感興趣的最匹配的詞條(Most matching terms)。

NOTE

best_fields一樣是以字段爲中心的，所以它也存在類似的問題。

首先咱們來看看爲何存在這些問題，以及如何解決它們。

問題1：在多個字段中匹配相同的單詞

考慮一下most_fields查詢是如何執行的：ES會爲每一個字段生成一個match查詢，讓後將它們包含在一個bool查詢中。

咱們能夠將查詢傳入到validate-query API中進行查看：

GET /_validate/query?explain
{
  "query": { "multi_match": { "query": "Poland Street W1V", "type": "most_fields", "fields": [ "street", "city", "country", "postcode" ] } } }

它會產生下面的解釋(explaination)：

(street:poland street:street street:w1v) (city:poland city:street city:w1v) (country:poland country:street country:w1v) (postcode:poland postcode:street postcode:w1v)

你能夠發現可以在兩個字段中匹配poland的文檔會比在一個字段中匹配了poland和street的文檔的分值要高。

問題2：減小長尾

在精度控制(Controlling Precision)一節中，咱們討論瞭如何使用and操做符和minimum_should_match參數來減小相關度低的文檔數量：

{
    "query": { "multi_match": { "query": "Poland Street W1V", "type": "most_fields", "operator": "and", "fields": [ "street", "city", "country", "postcode" ] } } }

可是，使用best_fields或者most_fields，這些參數會被傳遞到生成的match查詢中。該查詢的解釋以下(譯註：經過validate-query API)：

(+street:poland +street:street +street:w1v) (+city:poland +city:street +city:w1v) (+country:poland +country:street +country:w1v) (+postcode:poland +postcode:street +postcode:w1v)

換言之，使用and操做符時，全部的單詞都須要出如今相同的字段中，這顯然是錯的！這樣作可能不會有任何匹配的文檔。

問題3：詞條頻度

在什麼是相關度(What is Relevance)一節中，咱們解釋了默認用來計算每一個詞條的相關度分值的類似度算法TF/IDF：

詞條頻度(Term Frequency)

在一份文檔中，一個詞條在一個字段中出現的越頻繁，文檔的相關度就越高。

倒排文檔頻度(Inverse Document Frequency)

一個詞條在索引的全部文檔的字段中出現的越頻繁，詞條的相關度就越低。

當經過多字段進行搜索時，TF/IDF會產生一些使人驚訝的結果。

考慮使用first_name和last_name字段搜索"Peter Smith"的例子。Peter是一個常見的名字，Smith是一個常見的姓氏 - 它們的IDF都較低。可是若是在索引中有另一個名爲Smith Williams的人呢？Smith做爲名字是很是罕見的，所以它的IDF值會很高！

像下面這樣的一個簡單查詢會將Smith Williams放在Peter Smith前面(譯註：含有Smith Williams的文檔分值比含有Peter Smith的文檔分值高)，儘管Peter Smith明顯是更好的匹配：

{
    "query": { "multi_match": { "query": "Peter Smith", "type": "most_fields", "fields": [ "*_name" ] } } }

smith在first_name字段中的高IDF值會壓倒peter在first_name字段和smith在last_name字段中的兩個低IDF值。

解決方案

這個問題僅在咱們處理多字段時存在。若是咱們將全部這些字段合併到一個字段中，該問題就不復存在了。咱們能夠向person文檔中添加一個full_name字段來實現：

{
    "first_name": "Peter", "last_name": "Smith", "full_name": "Peter Smith" }

當咱們只查詢full_name字段時：

• 擁有更多匹配單詞的文檔會賽過那些重複出現一個單詞的文檔。
• minimum_should_match和operator參數可以正常工做。
• first_name和last_name的倒排文檔頻度會被合併，所以smith不管是first_name仍是last_name都再也不重要。

儘管這種方法能工做，但是咱們並不想存儲冗餘數據。所以，ES爲咱們提供了兩個解決方案 - 一個在索引期間，一個在搜索期間。下一節對它們進行討論。