百度大腦UNIT3.0解讀之對話式文檔問答——上傳文檔獲取對話能力

在平常生活中,用戶會常常碰到不少複雜的規章制度、規則條款。好比:乘坐飛機時,能不能帶寵物上飛機,3歲小朋友是否須要買票等。在工做中,也會面對公司多樣的規定製度和報銷政策。好比:商業保險理賠須要什麼材料,工做幾年能夠排隊辦理?這些狀況下,常常須要各類查詢肯定或者檢索規章制度文件或說明,才能回覆並解決用戶的疑問。基於這類常見的業務場景,百度大腦UNIT3.0正式推出了對話式文檔問答能力,更快速、低成本的搭建智能對話系統。

對話式文檔問答是UNIT提供的一項創新技術,利用這項創新技術,開發者無需梳理意圖、詞槽,無需進行問題和答案的整理,只需準備文本格式的業務文檔,經過平臺上傳,便可一鍵獲取基於文檔的對話技能。無需智能對話技術基礎也能夠利用該技術,秒變AI達人。

 

 

【對話式文檔問答技術解讀】

對話式文檔問答技能,能夠對傳統須要人工抽取FAQ或梳理意圖的業務文檔進行自動學習,經過搜索與語義理解技術,構建了用戶輸入的問題與業務文檔之間的橋樑,使得用戶的問題能夠由技能自動找到文檔中的對應答案片斷,使用端到端的多文檔閱讀理解模型V-NET和天然語言生成技術,技能得以返回更爲精準的答案。整個問答技能的構建對開發者來講沒有任何技術門檻,且對話式文檔問答技能具備自主學習能力,可持續優化,大大提升問答系統的開發人效。

【多粒度語料分析技術】

開發者在上傳文檔後,能夠在平臺上進行模型訓練,整個訓練的過程須要通過如下幾部分處理:

1.基礎處理:好比編碼處理,冗餘字符處理,切分完整語義片斷,進行詞法分析等,讓機器人對用戶上傳的文檔有基礎瞭解;

2.獲取文檔關鍵信息並完成倒排索引:此過程採用了TF-IDF及TextRank等多種算法綜合片斷的重要性,並進行打分;

3.構建基於詞向量的KNN分類器:基於大規模語料,使用skip-gram模型,訓練並獲得詞向量,並完成構建KNN分類器。

【基於篇章理解的答案定位技術】

訓練結束後,開發者就能夠直接測試使用了,這個過程如上圖所示:

1.首先是對用戶的query進行分析及提取關鍵信息;

2.此後對關鍵信息進行拓展,構建query中關鍵信息與文檔中關鍵信息之間的橋樑;

3.在對query有了比較深刻的分析後,實時在系統中尋找與問題最相關的候選文檔及候選答案,要進行基於各類技術的排序處理;

4.排序後,會生成精準的答覆,這裏面要拆分單答案及多答案等處理算法及邏輯。

【如何體驗對話式文檔問答】

開發者須要登陸UNIT平臺,點擊「創新技術」區,進入以下界面,點擊「對話式文檔問答「便可申請體驗。

創新技術區是UNIT將創新技術在業務場景下落地探索的窗口,目前包含對話式文檔問答和語義解析離線使用兩種創新技術,開發者能夠經過在線申請並體驗這些新技術,同時更多創新技術敬請期待。

【三步快速建立對話式文檔問答對話技能】

點擊「對話式文檔問答」,進入對話式文檔問答的主界面,新用戶點擊「新建技能」,填寫技能信息,便可完成技能的建立。技能建立完成後會出如今「對話式文檔問答技能」列表和「個人技能」列表中。建立技能後,只需三步即可得到基於業務文檔的對話能力:

第一步:上傳業務文檔

當前版本的對話式文檔問答僅支持兩類純文本文檔的上傳上傳,一類是普通文本文檔,一類是梳理過的FAQ文檔,以下圖所示。

Tips:

1.每種文檔類型均可以經過下載示例文檔進行內容的替換後再上傳;

2.請選擇恰當的文檔類型後再上傳對應的文檔,不然會影響模型的效果;

3.每次只能上傳一個文檔,多個業務文檔請分批次上傳;

4.FAQ類型的文檔請務必按照示例文檔的格式整理後再上傳;

5.當前版本下每一個技能可支持的文檔大小的上限是10M,文檔數量的上限是99個。

第二步:訓練模型

文檔上傳完成後開始模型訓練。訓練完成後「訓練」按鈕會變爲「從新訓練」,點擊「測試」進入測試界面。

Tips:

1.訓練過程當中不可對文檔進行任何編輯,包括刪除、上傳、下載等;

2.目前的技能是全文檔訓練,即該技能下的全部文檔都會參與模型的訓練。

第三步:測試技能

進入「測試」界面能夠體驗對話。對話有兩種形態:一種是直接對話,一種是回覆中提供選項,用戶能夠進行選擇,或者直接輸入更多信息進行交互,以下圖。

【調優模式如何使用】

1.調優模式下會看到一個query的多個候選項答案,而且能夠展開每一個候選項查看完整的選項內容

2.查看並肯定正確選項後,點擊單選按鈕進行選擇,並點擊確認後就會保存答案,再次詢問該query時,會呈現針對這個問題的答案,以下圖:

3.若是對以前選擇的答案不滿意,能夠點擊「刪除並從新選擇」按鈕,進行從新選擇;點擊「刪除並從新選擇」按鈕後,會呈現選擇前的選項狀態。

4.調優完成後,點擊「生效」按鈕,調優結果會在模型中生效;以後便可在「測試模式」下體驗調優後的對話效果了;若是調優後沒有點擊「生效」就要離開調優界面,會彈出二次確認,點擊「生效」後,調優結果就會生效到模型中。

若有任何關於對話式文檔問答的問題,能夠請發郵件至unit-innovation@baidu.com與咱們溝通交流。