得物技術淺談搜索引擎技術簡介

導讀

搜索引擎是一種結合天然語言處理，信息檢索，網頁架構，分佈式數據處理爲一體的幫助用戶準確解釋信息獲取信息的一種技術。

目前業界在網頁端與手機端的主流門戶搜索份額基本被各種巨頭(圖1.1)(SEO, 2020)所分割。固然，隨着時代的發展，搜索愈來愈向以細分業務爲主導的精細化門戶搜索的方向發展。好比你會選擇在知乎搜索專欄知識，在得物搜索潮流爆品，在美團點評搜索吃喝玩樂等等。

THE NO.1

信息檢索

搜索引擎

咱們要聊搜索引擎，那必然離不開信息檢索（information retrieval）。

首先咱們對何爲信息檢索須要有一個明確的定義：經過在一個大的數據集合中找到知足信息需求（information needs）的非結構化天然形式（一般指文本語料庫）的材料（通常指代文章）(Manning, 2008)。

在檢索信息時，有兩個指標是在討論搜索性能時無可避免。一個是召回率（recall），另外一個是準確率（percision）。有趣的是，這兩個指標就像一對孿生兄弟，老是此長彼消，此消彼長，所以，如何作好其中的制衡是各個搜索算法面臨的問題。

本文做爲搜索引擎技術的啓蒙文章，主要針對文章結構、倒排索引、操做符與查找算法這四個維度來說解一下搜索引擎的基本工做流程。

THE NO.2

文章結構

文檔

首先咱們來談一談搜索引擎都是如何理解它的那些文檔的。在聊這個話題以前，咱們要先明確一個定義，搜索引擎分爲兩種，網頁級搜索引擎和公司級搜索引擎。

不管是那種搜索引擎，它們第一件須要解決的問題就是理解語料庫，以後要作的就是存儲語料庫。

那麼如何理解呢？如今讓咱們來看一下基本的文檔的脈絡機構。

不少時候人們通常認爲文檔就能夠看做一個獨立的詞袋。但其實否則，每一個文檔實際上是由不一樣的組成部分構成的。

好比通常網頁的構建邏輯基本會是XML形式構成的，在大類上咱們把它們分紅三層，第一層是metadata，裏面通常會有_url、關鍵字、做者、日期_等等，第二層是body，裏面通常包含的就是像_標題、主體內容_這些信息。第三層是外部信息，主要有一些_外部連接與內部連接_跳轉。

分區能夠幫助咱們對各個區塊的信息量進行一個區分，緣由在於每一個區塊的信息熵是不同的。

簡而言之，包含的信息量不同，好比文章標題含有關鍵詞的信息量就相對而言要大於段落中包含這個關鍵詞全部的信息量。

得物搜索

在咱們得物平臺，主要有兩個搜索主要發力點：商品和社區。那也能夠進行這樣的分層，雖然具體的信息分層方式有所變化，可是具體的設計邏輯依然不變。

根據香農定理裏面的信息論，這些文檔它們提供的信息價值是不一樣的，信息熵也是不一樣的，若是把他們混爲一談的話，咱們搜索的準確度必然會有必定程度的下降。

通常而言，文檔標題包含的信息量要略高於文檔主體的信息量，經過將內部結構分層的操做，咱們在後期進行算法干預的時候就能夠人爲的對其中的內容的權重進行調整，從而提升咱們所召回內容與用戶輸入query符合度的準確程度，更好的知足用戶的搜索指望。

THE NO.3

倒排索引

存儲

講完了文檔的結構，咱們就要討論下如何對這些文檔結構用數據結構進行存儲。相信你們都知道，咱們在搜索引擎存儲信息通常採用倒排索引，而倒排索引主要分爲兩種索引結構。

第一種辦法咱們針對的是平鋪的頁面佈局，也就是我前面所提到的將全部頁面的各個區塊獨立對待的方法。說白了蘿蔔是蘿蔔，坑就是坑，各個信息塊之間各自獨立，沒有交互。

而第二種結構咱們採用的是垂直結構，也就是說，咱們令頁面中的各個佈局存在層級關係。

我拿主體部分舉個例子，主體部分 -> 區塊 -> 段落 -> 句子。

平鋪的頁面佈局

首先咱們來說下第一種歸併倒排索引，咱們看下構建模式。

咱們在推薦和博文這兩個field裏面都有一個詞典，那咱們在這兒要作的就是把各自的詞典和它所對應的field合併起來。

在這裏咱們須要注意的是，一個term將會有多個倒排索引，好比說bush這個詞，在推薦這兒咱們爲它構建了一個倒排，在博文這兒咱們也爲它構建了一個倒排。

在這種狀況下，咱們不會把不一樣field的信息雜糅在一塊兒。不少次和bush同樣都具備歧義性，經過創建各自獨立的倒排索引，能夠有效的保證信息的獨立性。

垂直結構

有的時候咱們搜索信息時，並不須要搜索到所有的信息，可能咱們只想要搜索到特定位置的特定信息。

若是咱們想要搜索句子裏面的癌症，在歸併結構下，咱們的搜索進程就會變得非常複雜，咱們要先從文章再到章節再到句子，很顯然，若是採用這樣的結構，咱們的搜索速度很受到必定的影響。

所以，咱們須要的採用一種比較精巧的獨立倒排索引結構，這種結構通常面向的是那種相對比較複雜的文章結構。

咱們接下來看一下這個樹形結構，在這種結構下，咱們會記錄下文檔各個詞所在的位置以及它們的上下級父子關係。

若是咱們要搜索位於位置6和位置27的信息，咱們就會先溯源到搜索脈絡中所處的位置，以後用一種相對快速的方式快速檢索到信息（log級別的速度）。

若是要搜在章節位置的信息，那麼它就會丟棄loc爲6的信息，由於loc爲6的信息在樹結構中屬於做者這個區塊。

這樣的方式能夠大大提高咱們的搜索效率，而咱們須要付出的只是惟不足道的一些內存而已，在這個雲存儲的時代，這樣的操做很是具備性價比。

徹底倒排

除此以外，咱們也能夠用徹底倒排的方法來構建倒排索引-即獨立倒排形式。

咱們能夠把field的邊界閾值存放在倒排索引裏面，另外構建一個term的倒排索引，經過把這兩個進行歸併，便可構建獨立倒排。

好比說在這兒咱們假設這是一個句子的倒排索引，開始和起始爲止標註在那兒了，extentFreq表示這是第幾個field。

當咱們確立好loc的具體值時，咱們只須要到旁邊的[begin,end]判斷是否在區域範圍內，就能夠快速肯定這個loc包含的信息是不是咱們須要的信息。

另外右側的部分是tfidf的含義解讀：

tfidf主要用來描繪出詞彙在文章中的信息量；tf表示文章中包含該詞的個數；df表示含有這個詞的文章的個數；idf表示倒排文章頻率，用來描繪文本稀缺度N表示總庫存的文章數。

經過tfidf，咱們能夠對文章的信息度進行一個相對粗略的判斷，能夠說tfidf是信息檢索的鼻祖算法，以後的一系列其餘的算法都是對tfidf的補充及優化。

THE NO.4

Query操做符

操做符分類

操做符通常來講能夠分爲三類，一類用來構建新的倒排索引，其中有_#SYN，#NEAR，#WINDOW_；一類用來生成分數列表，它的操做符是_#SCORE_；一類用來合併生成好的分數列表，其中有_#AND，#OR，#WSUM_。

Callan, 2020*

分場景應用

這些操做符能夠用來幫助咱們在不一樣的情境下構建一些複雜的query。

NEAR或者WINDOW操做符

咱們以前已經講完了倒排索引，咱們天然能夠構建Nike ，AJ，阿迪等等的倒排索引，可是光這些基礎結構很難知足咱們的需求。所以，咱們還須要一些其餘結構的倒排索引，好比說布萊克奧巴馬和AJ1。

這樣的query實際上是由兩個或者多個詞合併而出的短語，爲了保證其中的次序性可以被正確識別，咱們在這個時候就須要使用NEAR或者WINDOW操做符來進行詞彙連接。

syn操做符

syn操做符能夠用來構建一些概念性質的倒排，好比各種顏色的集合。

Score操做符

Score操做符比較容易理解，咱們經過咱們構建的一些記分算法來說一個倒排索引構建成一份分數列表。

AND和#OR

#AND和#OR這些操做符則是用來合併已經構建好的分數列表。

THE NO.5

搜索算法

講完了文章結構與操做符，搜索引擎的冰山一角已經被咱們剖析了出來。

若是把搜索引擎比作修煉，那咱們基礎已經打完了，接下來咱們進入硬核部分 - 搜索算法，瞭解完了搜索算法，那你基本能夠開始嘗試構建本身的小型搜索引擎了。

首先，咱們討論一下從倒排索引到分數列表過程當中可能會使用到的一些粗排算法。

搜索引擎查找信息的過程實際上是咱們在用各類各樣的方法來解釋咱們的信息，經過算法一步一步的壓縮召回池的數量，最後經過排序來得到咱們想要的信息（即排序好的文章）。

粗排

最簡單的粗排算法就是UnRankedBoolean和RankedBoolean兩種，它們都是精確查找的過程。在過去人們認爲文檔就是一個詞袋的集合，那麼只要進行精確查找就好了。

Unrankbooolean

Unrankbooolean顧名思義獲得的信息是無序的。這種方法簡單直接，得分匹配就是1，不匹配就是0。

在90年代前一直都是主宰級的辦法，可是如今已經基本被淘汰了，由於人們開始逐漸發現人們很難確保query自己是準確的。

RankedBoolean

RankedBoolean就是給予文章得分，辦法也很簡單，單純依據tf得分。

那咱們講完了基本被淘汰的exact match，咱們來聊一聊best match，best match有如下幾種：

1. ​Vector space retrieval model (VSM)
2. ​Probabilistic retrieval model (BM25)
3. ​Statistical Language Model (query likelihood)
4. ​Inference networks (Indri)

因爲vector space已經基本被業界棄用了，因此咱們這邊不對它進行展開。

BM25

咱們先主要聊一聊BM25。

BM25的展開公式以下圖所示。

BM25算法由Steve Robertson建立。M25剛開始叫BM10，BM15，隨着一系列的實驗和調參最後成了如今這樣。

第一部分叫RSJ weight，叫這個是由於Roberson開發了這個算法，Karen Spark Jones是他的mentor，輔助他開發了這個算法，因此聯合命名爲RSJ weight。

它其實很像idf，主要在idf上作了進一步的優化。

這邊的tf weight主要是對文本的長度作了一個標準化（normalization）。由於一個詞彙在若是在一篇20字的文本中出現了一次和在一篇2000字的文章中出現了一次，所表明的置信度應該是不同的，經過標準化處理，咱們能夠在必定程度上消除長文章的不正當競爭優點。

另外一塊是user weight，主要用來調節用戶的權重，這一部分咱們能夠相對忽略，業務在實際調參中，user weight的值通常爲1。

在這三個可調節參數中，K1調節的是這個調節幅度的強度，B用來調節的是文本長度normalization的程度，K3用來調節的是用戶權重的程度。

BM25到這兒基本結束，接下來咱們講下Two-Stage Smoothing算法。

Two-Stage Smoothing算法

要估計一個詞彙在文檔中出現的估計，不少人首相想到的多是最大似然估計（Maximum Likelihood Estimation）。

可是在搜索中他是有缺陷的，好比說咱們要搜鐳射粉AJ夏款，那麼可能鐳射粉AJ是有的，可是夏款沒有。

那麼夏款這個詞的MLE score就是0，而咱們最後是要把鐳射粉AJ的分數和夏款的分數相乘的，那麼最後結果就是無結果，什麼都搜索不到。

這個時候smoothing function就派上用場了，首先咱們須要處理一些不多見的term，其次咱們要平滑一些很短的文章。

首先咱們先介紹下這個jelinek-mercer smoothing function，也叫混合模型。這個模型下咱們會有兩個最大似然估計，一個是query term基於文檔的，一個是query term基於庫的。

Lambda用來控制平滑的程度，通常來講當lambda趨向於0的時候，平滑程度趨向於0。那麼如何選取lambda呢，咱們的實驗建議是小的lambda適用於短的query，是大的lambda適用於長的query。

另外一個平滑方法是狄利克雷特先驗平滑算法，這個算法它的目的是爲了調節稀有詞和高頻詞在詞庫中的出現頻次。通常來講mu的值在1000到10000中爲比較合適的範疇。

上述各個平滑算法及MLE算法的公式以下所示：

Indri

講完了BM25和平滑算法，咱們來說一下Indri。

Indri是用統計語言模型和貝葉斯干擾網絡構成的。

聽起來可能很嚇人，可是仔細總結一下，他的關鍵在於如下幾點：

1. 它是一個機率型檢索模型
2. query是結構化的
3. 文檔由多樣的形式進行表現

這個看起來很複雜，但其實並不複雜，具體表現形式以下：

Callan, 2020*

首先咱們有一個網頁，每一個網頁有着它所屬的網絡結構，好比說標題、主題、URL等等。那麼很天然，咱們能夠將文章拆解爲不一樣的區塊。

與此同時，咱們在前文提到過平滑模型，咱們經過將平滑模型中的兩個參數與文章結構相結合咱們就能夠獲得一個文本語言模型，即在這個區塊中的貝葉斯機率值。

另外，每個文檔區塊均可以拆分紅不一樣的子節點表現形式，好比單字、短語等等，它們也有着各自所對應的貝葉斯機率。這樣的話，在文檔層面咱們就完成了語言模型到貝葉斯機率的轉變。

而後咱們往下看，I表示某我的的信息需求，這個信息需求通常由一個query來表示，而這個query又由許多子query來構建，咱們如今能夠思考一下and/or/Near等操做符。

對於每個query，咱們均可以先用nlp拆詞拆分紅小的單字，再經過操做符進行組合構建，這樣每個query概念就也包含了各自的貝葉斯機率。這就構建了一個query網絡。

以後，咱們就能夠將query網絡和咱們的文檔網絡創建鏈接。經過對query網絡和文章網絡對似然度進行匹配，咱們就能夠儘量準確的找到準確度較高的文章，這就是咱們整個Indri網絡的體系流程。

引文說明

SEO, 2020. SEO Search Engine - SEO Rank Services. [online] SEO Rank Services. Available at: https://seorankservices.com/search-engines-optimize-site/seo-search-engine/ [Accessed 3 February 2020].

Manning, C., 2008. Introduction To Information Retrieval. 1st ed.

Callan, J., 2020. Search Engine 11642 - Carnegie Mellon University.

文｜Ray

關注得物技術