阿里雲峯會 | AI搜題加速在線教育行業場景創新

簡介：過去的2020年的讓全部人難忘的一年，受新冠疫情的影響，各行各業都在挑戰中變化，在教育方面也催生了新的商業格局。在線教育平臺發展迅猛，阿里雲也積極相應，爲在線教育的衆多客戶提供了高效穩定的技術保障。本文介紹了阿里雲開放搜索爲在線教育掠奪流量的重要工具-拍照搜索的技術原理。

分享人：徐光偉（昆卡) 阿里巴巴達摩院算法專家

瞭解更多解決方案詳情：https://www.aliyun.com/page-source/data-intelligence/activity/edusearch

搜索是在線教育企業流量獲取的利器

截至2020年12月份教育行業月活TOP10的統計，其中具有搜題能力的軟件多達5個，拍照搜題做爲產品能力，能夠幫助客戶獲取大量用戶以及流量，從而爲其餘產品提供變現能力，正是因爲這樣定位，拍照搜題總體準確性和搜索效率都成爲相當重要的一點，因此開放搜索對此作了不少訂製優化。

教育搜題業務特色

對於教育搜題業務場景概括了三大特色：

第一點海量題庫，教育題庫都是屬於千萬級別甚至到億級別，並且不斷的持續增加；同時搜題業務存在很明顯的高峯現象，例如晚上七八點，節假日最後一天，這時搜題會存在很是高的QPS的波峯；搜索延遲會嚴重影響用戶的體驗。

第二點場景豐富，拍照搜題涵蓋的場景愈來愈豐富，包括不一樣的年齡段，例如低年級搜題主要圍繞拍照看圖識字或連線題，須要更多的圖片信息的題目；還包括不一樣的學科，目前支持的學科多達十多種，所以豐富的場景就會對搜索效果帶來更大的挑戰。

第三點算法需求，拍照搜題產品形態通常只會展示TOP3或者TOP5的結果，正是由於這樣設定，準確性對於拍照搜題來講相當重要，同時拍照搜題還會涉及到多模態和多語言處理能力，解決圖文搜索和多語言處理的需求。

開放搜索教育搜題方案架構

阿里雲開放搜索的拍照搜題解決方案，當用戶經過拍照通過OCR識別以後的文本，通過開放搜索引擎處理後會返回TOP3-5的結果給用戶獲得展現，而且針對企業題庫數據嚴格保證數據的安全和隱私。

教育搜題算法能力

查詢分析算法優化完整的處理流程

教育行業分詞和學科類目預測

分詞在拍照搜題場景下存在兩大難點，第一點英文題目OCR識別以後空格缺失，左邊第一個圖能夠看到，即使針對很長沒有空格的英文文本，模型也是能夠很是準確的作正確的切分。第二個難點是數學題目公式表示以後的切分，左邊第二個圖能夠看到數學符號部分都作出正確的切分。

類目預測在拍照搜題場景下對應的就是學科的預測和題型的預測，咱們結合圖片以及OCR識別以後的文本信息作多模態預測，從而提升搜題準確率。

多路召回排序技術

因爲拍照搜題業務場景的特殊性，開放搜索還引入了多路召回排序技術。

爲何要作多路召回呢？

教育拍照搜題相比傳統的網頁或者電商的搜索存在明顯的差別，第一點是搜索的Query特別長，第二點是搜索的Query由拍照OCR識別以後獲得的文本，其中關鍵TERM識別錯誤的話，就會嚴重影響召回排序。

傳統的純文本查詢方案包括兩種，第一種是OR邏輯查詢，第二種AND邏輯查詢，AND邏輯查詢上基於咱們剛纔說到的針對教育領域優化定製的Query模塊分析以後大幅提升效果，如今能夠作到準確性接近OR邏輯。

如何兼顧搜索計算開銷以及搜索的準確率呢？

引入了文本的向量召回，對文本向量召回技術優化了三點，

第一點是其中的BERT模型咱們採用達摩院自研的StructBERT，並針對於教育行業作了定製，同時對BERT模型作壓縮加速。

第二點是向量檢索引擎採用達摩院自研的Proxma引擎，準確性和速度都超越開源系統。

第三點訓練數據能夠基於客戶的搜索日誌不斷積累，效果持續提高。

從右邊的圖能夠看到，最終咱們在基於兩側的BERT模型就能夠達到很是好的效果，準確性超過OR邏輯3%—5%，總體召回DOC數量減小40倍，Latecy下降10倍以上。

搜題效果展現

舉例兩個具體搜題的case，左邊這個case能夠看到其中由於問題中的文字描述和題庫中文字描述不一致，傳統搜索引擎返回的結果相關性極差，通過咱們引入語意向量召回以後右邊TOP3結果徹底符合題意。第二個case由於這個題目中包含圖片的信息，傳統的搜索引擎沒法作到準確的召回，基於咱們多路召回引入圖象信息以後TOP1返回徹底一致的題目。

開放搜索解決方案優點

案例一：某K12的教育用戶，用戶數達到千萬級別，題庫量在八千萬左右並且在持續增長，客戶接入開放搜索以後返回搜題準確率提高45%，延遲降到50%毫秒。

案例二：某高職教育客戶，產品DAU三百萬，月活一千萬，客戶接入以後反饋對比他們原先自建的系統，在高峯時候耗時大於兩秒，如今開放搜索能夠穩定在50毫秒，同比降低40倍。TOP5題目搜索準確率提高2.4%搜索結果從原來40%降到不到1%，業務高峯期能夠實現秒級平滑擴容。

得到專家指導：

https://survey.aliyun.com/apps/zhiliao/6R4u6vilI

本文內容由阿里雲實名註冊用戶自發貢獻，版權歸原做者全部，阿里雲開發者社區不擁有其著做權，亦不承擔相應法律責任。具體規則請查看《阿里雲開發者社區用戶服務協議》和《阿里雲開發者社區知識產權保護指引》。若是您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將馬上刪除涉嫌侵權內容。