句子互動 | 臉盲助手 基於微信社交的Chatbot人臉識別應用探索

做者：鄺偉鵬

積致科技創始人CEO，巴黎笛卡爾大學碩士。全棧工程師，曾任智能客服Udesk交互架構師，並獨立完成類Google doc的實時文檔編輯應用以及可視化拖拽開發App應用平臺開發寶。積致科技致力於基於微信社交生態，以 Chatbot 的交互方式爲用戶提供人臉識別應用（FindMyFace及臉盲助手）。已獲PreAngel種子投資。

筆者這次分享主要是拋轉引玉，經過分享Chatbot的一個場景應用來引出目前Chatbot技術的一些常見問題。

Bot Friday Second - 沙龍第二彈

基於微信社交的Chatbot人臉識別應用探索

2019-07-26 於北京騰訊，Weipeng Kuang

用戶場景

場景一

咱們常常在參加一個活動中，但願跟某人交談，可是卻每每記不住名字，此刻特別但願能有一個像電影同樣的眼鏡，直接在某人的頭上標記出他叫什麼，什麼公司的，具體職位是什麼等等信息。

場景二

在參加行業展會的時候，做爲展會的銷售人員，特別但願本身可以火眼金睛，一眼識別出哪一個人是潛在的客戶，哪一個人是同行，哪一個人是無關重要的路人，但願有一款眼睛或者經過手機攝像頭便可識別出這些信息。

Chatbot解決方案

Why Chatbot

首先，咱們但願初版本是越簡單開始使用越好，考慮到目前相似Google Glass之類的眼鏡產品未能普及，目前最好的工具仍是咱們的手機，而手機中咱們認爲目前微信是最好的入口。 而爲了讓用戶最快最容易上手交互，咱們認爲最好就是掃碼直達，聊天即用，所以咱們最終選用了微信服務號做爲交互入口，並使用Chatbot來跟完成交互。

筆者認爲，ChatBot的魅力在於它符合人的天性，人類最天然的獲取信息的方式之一就是經過對話實現。

技術架構

目前初版本的人臉識別使用的是Google Facenet, 感謝Huan Li作的開源項目Node-Facenet

交互過程

上圖表示的是單張圖的交互過程，若是系統認識，就直接給照片標記名字（之後會加上更多其餘信息）,若是不認識，則會問用戶他是誰，用戶能夠直接在服務號中回覆名字進行標記。 若是是合照，包含多我的臉，交互以下：

首先系統經過識別認出人臉，並自動把系統已經認識的人添加名字，針對未認識的或者認錯的，您能夠經過回覆」改人名「來觸發進入標記人名的過程，系統自動提出人臉，並生成一張帶有序號的合成照片，如上圖最右邊。而後您能夠經過」命名 1.小明，2.小芳「這樣的格式來進行命名。 您還能夠把這種合成圖分享給朋友，朋友經過識別二維碼便可進入」臉盲助手「服務號進行命名標註，幫助完成圖片的標註。 完成標註後，便可獲得一張以下圖所示的帶有名字標記的合照：

將來可能性探索

產品目前初步完成名字的收集及標記等功能，下一步會進一步增長公司，職位等信息的收集。產品下一步的可能，此處作一個暢想，但願感興趣的朋友能夠後續找我進一步討論：）

社交發現及推薦

基於合照創建人與人之間的關係

找人，推薦最短路徑 / 微信服務號直達

免費活動簽到+照片自動推送

提早收集人臉+名字

現場拍照完成簽到

現場照片自動識別推送

開放服務

提供人臉識名的API

提供人臉Chatbot機器人

其餘

產品Demo

微信識別二維碼便可體驗

ChatBot的需求

提取人名

提取公司名

提取職位名

騰訊智能對話平臺TBP初體驗

產品核心邏輯： 首先創建意圖，如針對我標記人名的信息是一個意圖，根據意圖，須要添加一些觸發意圖的用戶說法，例如說」命名xxx「，對於須要提取的信息，可設置槽位，如上圖所示，人名是一個槽位。而每個槽位能夠關聯一個詞典。詞典可自定義（目前只支持固定的詞彙），也可選擇內置（包含時間，地點，人物等）。而後匹配到信息後，你能夠設置一段回覆或者調用您本身的API進行下一步的操做。

總體來說，仍是比較容易上手的，咱們此次試用了人名的內置詞典， 測試以下：

從上圖能夠發現，人名的識別出現的一些問題，如填寫名而沒有填寫姓不行，填寫姓+單字有一些能夠，有一些不行。暫時還沒法比較智能的識別出來。 筆者認爲，因爲人名的複雜性，各類可能都會出現，很難一次就準確判斷是否人名，能夠考慮放寬一點判斷條件，在一些有可能誤判的名字，增長多一輪對話跟用戶確認，以即可以達到最終的意圖， 而不是直接回答」對不起，我不明白你的意思「。 相似的包括公司以及職位等名詞信息，都是各類可能都有，且會隨着時間發展不斷豐富。如何準確提取這類型的信息多是Chatbot的一個沒法避免的難題。也許增長多輪對話是一種思路，期待各位Chatbot的技術大牛的解決方案。

寫在最後

臉盲助手目前是咱們團隊的一個Side Project，若是你有應用場景或任何想法，歡迎加我微信（weipengk）交流探討。