OpenSearch最新功能介紹

摘要：阿里雲開放搜索（OpenSearch）是一款結構化數據搜索託管服務，其可以提供簡單、高效、穩定、低成本和可擴展的搜索解決方案。OpenSearch以平臺服務化的形式，將專業搜索技術簡單化、低門檻化和低成本化，讓搜索引擎技術再也不成爲客戶的業務瓶頸，以低成本實現產品搜索功能並快速迭代。本文將爲你們介紹OpenSearch的最新推出的電商查詢語義理解和搜索算法平臺兩個新功能。

本文整理自直播分享以及PPT。

本次分享將主要圍繞如下三個方面：

1. OpenSearch產品簡介
2. 新功能介紹-電商查詢語義理解
3. 新功能介紹-搜索算法平臺和人氣模型

1、OpenSearch產品簡介
OpenSearch產品上雲以前在阿里巴巴集團內部一直都扮演着搜索中臺的角色。除了淘寶、天貓以外，阿里巴巴集團的其餘核心業務產品好比飛豬、菜鳥等也都是經過OpenSearch接入的。其實OpenSearch和淘寶、天貓所使用的搜索引擎原理基本相同，只不過OpenSearch在其基礎之上實現了多租戶邏輯。

OpenSearch上雲以後的主打方向就是爲外部的企業客戶提供具備高搜索質量的一站式內容智能搜索服務。OpenSearch的主要優點能夠大體總結爲如下四個方面：

1. 淘寶主要算法功能原生集成：OpenSearch不只基於了阿里巴巴自主研發的大規模分佈式搜索引擎，其在搜索引擎之上還集成了業界領先的淘系算法功能，包括了電商領域的語義查詢與理解、排序等，藉助這些算法能力就可以助力GMV轉化率、CTR等業務指標的快速提高。
2. 無需開發就能實現索引秒級更新：OpenSearch支持與雲上的RDS和PolarDB兩個數據庫無縫對接。在OpenSearch的控制檯只須要配置幾個關鍵參數，好比數據庫名、用戶名以及密碼就能夠直接對接數據庫和OpenSearch，實現數據實時更新，整個過程很是簡單，無需任何開發。
3. 0運維，免部署：OpenSearch是雲端全託管服務，所以無需運維和部署，很是方便。
4. 服務搭建更簡單：開發者無需瞭解OpenSearch複雜的原理，就可以快速上手使用，並將關鍵路徑流程化、可視化出來，僅須要幾步就可以完成基礎服務的搭建。若是業務常常會出現波峯波谷狀況，好比618或者雙11大促，均可以在OpenSearch上隨時擴縮容，而且可以及時生效，無需提早申請配額，所以也很是方便。

2、新功能介紹-電商查詢語義理解
首先爲你們介紹OpenSearch的電商查詢語義理解這個新功能。之因此要實現電商查詢語義理解這個功能，是由於在電商場景裏面，搜索引導的成交每每佔比達到60%以上，所以電商對於搜索的精準度要求很是嚴格。可是在實際的搜索場景中，用戶輸入的關鍵詞每每很是口語化，而站內商品的標題、詳情描述、類目以及標籤等都屬於比較書面化和規範化的文本，所以就致使查詢詞和商品信息沒法匹配。若是站點沒有實現語義的Mapping，用戶每每搜不到其想要的商品，對於平臺而言，這就使得無結果率或者少結果率都會很是高。基於上述的背景，OpenSearch就把淘寶搜索內部的智能語義Mapping功能集成到了OpenSearch內部，稱之爲查詢語義理解，該功能專門爲電商領域提供服務，所以垂直性也很是強。

淘寶搜索和OpenSearch的解決方案
這裏爲你們介紹一個實際案例，來幫助你們理解電商場景的語義查詢Mapping功能對於實際業務的具體做用。下圖中，用戶在搜索框輸入了「NKIE新款運動鞋」，這裏的「NKIE」實際上是輸入錯誤的「NIKE」，而搜索返回的結果其實都是符合用戶實際需求的NIKE的新款運動鞋。那麼，在這個過程當中系統作了哪些工做呢？首先，系統會對於用戶輸入的關鍵詞進行拼寫糾錯，將其修改成正確的關鍵詞，並作一個大小寫的歸一化處理。以後使用分詞器對其進行處理，對於分詞的語義單元實現實體的標籤識別，這裏的做用就是抓住核心的東西來進行搜索，保證搜索結果既豐富又不會跑題。系統在最後還會進行同義詞的拓展來擴大搜索結果的召回量。所以，系統在最後實際進行查詢的詞並非用戶所輸入的「NKIE新款運動鞋」，而是如圖中所示的實際執行的查詢詞。這就是電商查詢語義理解在實際業務中的做用。

核心功能亮點
本次OpenSearch所集成的電商查詢語義理解功能具備如下的三個核心亮點。這裏之因此強調電商領域，是由於OpenSearch在本來通用的查詢語義理解基礎之上提供了針對於電商場景的縱深優化。

• 電商拼寫糾錯：OpenSearch系統會對於用戶輸入的查詢串進行拼寫錯誤檢查，計算查詢詞是否須要進行糾錯，並給出糾錯建議。對於明確的拼寫錯誤會直接改寫原始查詢串，而後進行檢索；對於可能的拼寫錯誤將仍然使用原始查詢串進行檢索。
• 電商命名實體識別（NER）：OpenSearch系統將查詢詞分詞後對每一個語義單元進行需求識別，每一個實體會被打上一個類型標籤（共36種標籤），好比品牌、品類、新品等。在系統中，標籤重要性大體分爲三檔：高、中、低。標籤重要性低的實體在查詢中會被忽略，以擴大召回率；標籤重要性高的實體會直接影響文本相關性的計算和類目預測訓練。好比「耐克修身連衣裙」，實體識別的結果爲「耐克/品牌/中」、「修身/款式元素/低」、「連衣裙/品類/高」。而且若是系統中默認的標籤重要性不符合用戶預期，用戶也能夠直接進行調配。
• 靈活幹預：電商場景中查詢語義理解功能是基於淘寶搜索多年沉澱的大數據訓練，絕大多數狀況下會爲電商場景提供良好的查詢分析效果，可是不一樣的業務場景都會有自身垂直的查詢詞可能未覆蓋或者分析錯誤，因此開放搜索也支持可視化上傳、管理干預詞條，支持自定義詞庫的上傳，支持靈活配置，即干預即生效，簡單快捷，方便用戶在業務中更加靈活地使用這一功能。
  

電商查詢語義理解客戶案例
這裏爲你們分享一個使用OpenSearch電商查詢語義理解的實際客戶案例，該客戶的業務屬於垂直領域的電商行業，搜索引導的成交佔比所有成交的60%以上，所以搜索是站內最重要的功能。而用戶在站內搜索的無結果率卻接近60%，也就是說天天海量搜索PV都是0轉化，這是很是巨大的浪費。基於上述背景，該客戶內部明確立項對於在兩個月的時間內對於搜索效果進行優化，而其面對的最大挑戰就是業務很是垂直而且圈子內用戶輸入的查詢詞和商品的官方名稱每每千差萬別。此外，該客戶所售賣的商品不少來自海外，最開始名字爲英文，而當引入國內以後，客戶的用戶有時會直接音譯成爲中文來稱呼商品名稱，因此站內的熱搜詞每每會是商品的別名、縮寫、音譯詞等。並且客戶本來自建的開源服務沒有對搜索關鍵詞作智能的語義理解，甚至有些實體名詞分詞仍是錯誤的，所以形成了搜索無結果率居高不下。

基於上述問題，客戶方的技術人員開始調研解決方案。客戶內部明確要求對於搜索效果的優化週期要在兩個月以內完成，而技術人力卻只有一個。解決搜索結果召回問題的主要路徑就是創建起搜索關鍵詞的智能語義理解服務，而從0到1的實現該能力不只須要多個精通NLP的算法專家，還須要至少幾十萬量級有人工標註的數據物料作訓練，而現階段，客戶方面既沒人也沒數據，市面上也沒有現成的開源插件。基於這樣的效率和投入成本的考慮，客戶就選擇使用OpenSearch對於以前的搜索功能進行改造和升級。該客戶使用了OpenSearch的電商分詞、電商查詢語義理解以外，還將一些自定義的補丁詞庫放到了OpenSearch上，而詞庫能夠由運營同窗直接上傳，而不須要爲技術人員增長額外的開發工做量。通過不到2個月的時間，全流程實現完成以後，使用OpenSearch的部分服務的結果召回率基本達到了90%左右，而自建服務的結果召回率只有31%左右，二者進行對比就可以發現使用OpenSearch在結果召回率方面具備較大的優點。除此以外，使用OpenSearch使得搜索引導成交轉化率相比於本來的開源自建服務提高了9%。

3、新功能介紹-搜索算法平臺和人氣模型

搜索算法平臺
之因此要實現搜索算法平臺功能，是由於當搜索業務發展到必定階段，用戶行爲數據對於搜索排序效果的提高將會承擔重要的角色。受限於行爲日誌數據的龐大和繁雜，這個時候每每須要機器經過統計學習算法，對大量的歷史數據進行學習從而生成經驗模型。利用經驗模型將行爲數據量化爲合理的分數，最終在排序中使用。想要在業務中高效實現這一整套機器學習流程，每每會面臨如下兩個問題：

• 繁雜的數據採集和預處理工做：天天億級的數據都須要經過自動化的方式進行採集、存儲和處理，對於這些原始數據還須要進行統計、分析和處理來發現用戶行爲的基本規律，這就要求開發者具有長分析能力和長期經驗積累，好比發現原始數據正負不均衡時，如何構建出正負樣本數均衡的樣本數據，這些還須要必定的算法工做經驗。
• 大海撈針般的算法調參：面對錯綜複雜的算法參數，開發者們每每須要花費很是多的時間進行調試，而這就如同大海撈針通常。當找到一個看似靠譜的參數組合以後，這個參數組合是否最優還會存在必定不肯定性。
  

基於以上兩個使人極爲頭疼的問題，OpenSearch經過一個高可視化的方式來支持用戶直接完成數據預處理、特徵工程、算法調參、模型評估、模型管理模型上線等一系列繁雜的算法平常工做，而且還集成了阿里巴巴集團內部比較成熟的排序算法模型。用戶能夠經過整個算法平臺自行訓練高質量的算法排序模型而且應用到OpenSearch的算法排序中，以後將模型上線到實際業務並進行AB Test對比，獲得總體實驗效果而且回收，實現全鏈路OpenSearch的徹底打通，而且以可視化、流程式地進行呈現。對於沒有接觸過這些算法的開發者而言，也能夠直接上手這個OpenSearch平臺。而且該平臺專一於搜索算法模型訓練，所以會內置一些阿里巴巴集團已經通過多年實戰經驗沉澱下來的模型，好比比較成熟的人氣模型。而且在將來，類目預測等模型也會陸續上線到OpenSearch平臺上。總之，用戶能夠在平臺上完成整個算法模型訓練以及上下游的流程。

此外，對於上線的模型是否優秀而言，平臺還會產出一個較爲專業的評估報告，經過這些評估報告和指標使得模型的效果能夠一目瞭然。對於模型上線以後用戶是否買單而言，OpenSearch還支持一鍵生成對比AB Test實驗，可以支持用戶快速迭代模型和改善效果。對於模型上線效果的迴歸而言，平臺還能提供業務指標分析的報表。

人氣模型
人氣模型簡單而言就是衡量用戶對於站內每一個商品或者每一個文件的受歡迎程度，也就是靜態質量分數。能夠將其加入排序，使其成爲排序的一個因子，經過這個因子來直接影響排序效果。OpenSearch會將四個維度的特徵加入訓練，包括了實體維度、時間維度、行爲維度以及統計維度。

模型評估報告
OpenSearch會針在每一個模型在訓練完成後自動產出一個模型評估報告，經過這個質量來評估模型的效果，好比分類算法模型的評估報告中就會包括如下指標，好比整個模型是否適合在業務中使用，此外還有一些細化的指標如AUC值、ROC曲線、混淆矩陣、特徵權重等。對於一些有算法經驗的同窗也能夠直接經過這些指標值來發現問題，並進行模型的下一輪調優。

如何使用
若是想要使用搜索算法平臺，首先須要經過OpenSearch的SDK上傳行爲數據，以後就能夠直接在算法平臺上建立和訓練模型，模型訓練完成以後就能夠查看模型評估報告。若是模型評估報告建議使用該模型，就能夠直接將模型部署到OpenSearch的應用中，進而將其應用到排序表達式中。

搜索業務效果評估
將模型應用到排序表達式中以後就須要對於搜索業務效果進行評估了，傳統方式每每是結合線下人工評估和線上流量測試。線下人工評估每每會抽取一些具備表明性的查詢關鍵詞，組成一個規模適當的關鍵詞集合。針對這個關鍵詞集合，從排序模型的產出結果中查詢對應的結果，進行人工標註相關性。對人工評測的結果數據，使用預約義好的評價計算公式好比DCG等，用數值化的方法來評價模型的結果和標註的理想結果的接近程度。若是人工評估認爲搜索業務的效果是變好的，此時就能夠進行線上流量測試。爲了真實驗證一個排序模型的好壞，就須要使用剛纔提到的AB Test機制來檢驗和對比。在用戶搜索時，由測試機制根據必定的策略來自動決定用戶的分組號，保證自動抽取導入不一樣分組的流量具備可對比性，而後讓不一樣分組的用戶看到的不一樣排序模型所提供的結果，用戶在不一樣模型下的行爲將被記錄下來，這些行爲數據經過數據分析造成一系列指標，經過比較，最後就造成了不一樣模型之間孰優孰劣的結論。

對於OpenSearch而言，其沒法支持第一種線下人工評估，所以用戶只能本身抽取Query來進行人工評估。當人工評估完成以後，OpenSearch能夠支持線上的AB Test端到端一鍵配置，能夠支持多場景多分組下流量劃分進行試驗，充分知足了單一應用但覆蓋多樣業務場景的實驗需求。而且使得實驗配置和上下線狀態能夠靈活調整，即操做即生效。而且能夠實現報表的天級產出，幫助客戶進行決策。而且可以實現全流程可視化界面操做，可以使得用戶實現快速接入，簡單無門檻，而且產品和運營人員也能夠直接使用。

當整個優化完成以後，OpenSearch還提供了一套專業搜索業務質量報表指標體系，該體系針對於電商場景劃分了5個體系，即流量指標、點擊指標、用戶分析指標、Query分析指標以及成交指標。

藉助於這些效果評估指標，客戶能夠很是專業而且直接地看到通過本身的一輪又一輪的優化，搜索效果的提高可以體如今哪裏以及存在的問題在哪裏。

阿里雲雙11億元補貼提早領，進入抽取iPhone 11 Pro：https://www.aliyun.com/1111/2019/home?utm_content=g_1000083110

原文連接

本文爲雲棲社區原創內容，未經容許不得轉載。