【騰訊Bugly乾貨分享】iOS10 SiriKit QQ 適配詳解

本文來自於騰訊bugly開發者社區,非經做者贊成,請勿轉載,原文地址:http://dev.qq.com/topic/57ece...ios

1. 概述

蘋果在iOS10開放了siriKit接口給第三方應用。目前,QQ已經率先適配了Siri的發消息和打電話功能。這意味着在iOS10中你能夠直接告訴Siri讓它幫你發QQ消息和打QQ電話了,聽起來是否是很酷炫?微信

那麼第三方應用使用Siri的體驗究竟如何?哪些應用能夠接入SiriKit?接入SiriKit又須要作哪些工做呢?這篇文章會爲你一一解答這些疑惑。app

圖1 用Siri發QQ消息效果展現框架

2. SiriKit簡介

咱們都知道Siri是iphone手機中的智能語音助手,那麼什麼是SiriKit呢?SiriKit是蘋果爲第三方應用支持Siri提供的開發框架。在官方文檔中,SiriKit將對不一樣場景的語音支持劃分爲不一樣的domain,目前,SiriKit支持的domain包括:VoIP電話、發消息、轉帳、圖片搜索、網約車訂車、CarPlay和餐廳預約,也就是說若是你的應用中包含有這些功能之一,就能夠考慮將這些功能接入到SiriKit中啦。dom

實現SiriKit相關功能時,咱們並不須要真正對語音進行識別,語音的識別工做會由Siri完成。Siri識別完語音後,會將語音要完成的功能抽象成Intent對象傳遞給咱們,而咱們的接入工做主要是與這些Intent對象打交道,並不會涉及到天然語言處理(NLP)的技術。iphone

關於SiriKit的開發網上已有一些文章,也可參考蘋果的官方文檔SiriKit Programming Guide,本文着重介紹QQ的適配經驗。ide

圖2 SiriKit原理工具

3. SiriKit接入

要實現SiriKit的功能須要在Xcode工程中添加Intents Extension的target,和其餘extension同樣, Intents Extension是一個獨立於Containing App進程運行的插件,主要用於處理和確認來自siri的intent請求。若是想讓Siri在處理App相關intent時提供一些自定義的界面,那麼你就須要再添加Intents UI Extension的target,Intents UI Extension也是一個獨立運行的插件(因此要完整的支持SiriKit實際上是須要添加兩個target,有點蛋疼)。關於App Extension的開發能夠參考蘋果的App Extension Programming Guide。ui

咱們以QQ中的發消息功能爲例說明一下SiriKit的接入方法:spa

首先,咱們須要在Intents Extentsion的info.plist文件中配置咱們須要支持的siri Intents,在IntentsSupported中加入INSendMessageIntent,若是須要在鎖屏時禁用某個功能,則再在IntentsRestrictedWhileLocked中加入相應項的Intent,如圖3所示。

圖3 Intent Extentsion info.plist配置

SiriKit的接入主要分爲Intents Extension和Intents UI Extension兩部分,下面分別進行介紹。

Intents Extension

當咱們對siri說「用QQ發消息給王一然說你好」時,語音的識別將會由Siri自動完成,Siri會將識別好的內容展現在Siri的界面。如圖4所示,咱們能夠看到一個完整的發消息語句主要由四部分組成:

應用名:告訴Siri要使用哪一個App,siri會根據app的bundle displayname自動識別app的名稱,無需額外註冊。

發消息Intent:告訴Siri要使用發消息的功能,咱們實測發現說發信息也是能識別,具體還有哪些詞彙會識別爲發消息的intent蘋果沒有在文檔中說明。

消息接收者:告訴siri消息的接收者是誰,「王一然」是我QQ好友的暱稱。

消息內容:告訴Siri你要發的消息內容是什麼,這裏的消息內容爲「我很生氣」。

圖4 確認發送消息界面

其中應用名和Intent是必須的,否則Siri沒法抽象出你的「Intent」。後兩項若是缺省的話,咱們能夠在實現中要求用戶進一步提供數據或者忽略。在識別完成後Siri會將消息內容和接收者抽象成一個INSendMessageIntent傳遞給 QQ的Intent Extension。

咱們從圖4還能夠看到Siri準確從個人語音中識別出我QQ好友中暱稱爲「王一然」的好友,然而「王一然」並非一個通用的短語,那麼這是怎麼作到的呢?奧祕就在於在QQ運行時咱們把全部QQ好友的暱稱同步到了Siri雲端,這樣Siri就能夠識別出特定用戶要使用的特定短語,詳細同步方法可參考INVocabulary的setVocabularyStrings:ofType:方法。

每一個domain的功能在Siri中都有對應的Intents,而每一個intents都對應一個特定的handler協議。對於發消息來說,對應的Intent和handler協議分別爲INSendMessageIntent和INSendMessageIntentHandling。只要實現INSendMessageIntentHandling協議中的相關方法,並在Siri解析出INSendMessageIntent請求時用咱們的INSendMessageIntentHandling對象去處理相關的發消息請求。具體的流程如圖5:

圖5 Siri發QQ消息流程

1)ResolveRecipientsForSendMessage

對siri從Intent中傳遞過來的接收者名稱進行處理和確認,好比能夠確認該名稱當前是否在QQ好友列表中,並將resolution result反饋給Siri。Resolution result表明了應用對intent處理後的結果,對於發消息來講,表1列舉了幾種可能的resolution results。

表1 send resolution result

2)ResolveContent

與接收者的處理相似,在這個方法中能夠對Siri識別出的消息內容進行「修飾」,而且將resolution result反饋給Siri,好比QQ對一些消息裏面的特殊詞彙如「生氣」作了emoji適配。

3)ConfirmSendMessage

這個方法的做用是確認是否要發送該消息,能夠在這一步進行一些鑑權工做,鑑權經過後再確認發送,不然取消。確承認以發送後會調起確認發送界面,如圖4所示。若是須要從Containing App共享數據,具體的實現方案參考App Group的Shared Container。

4)HandleSendMessage

如圖4,當用戶點擊了「發送」按鈕或者用語音給出了發送指令時會最終進入到這個方法,在這個方法裏咱們須要實現發消息的邏輯,發送成功後能夠調起消息發送成功的界面,如圖6。

圖6 消息發送成功界面

Intents UI Extension

對於支持自定義界面的Intent類型,能夠在Intents UI Extension中提供更美觀的自定義界面。 Custom UI的實現相對較簡單,和ios app的開發同樣,都是經過UIViewController的子類實現。咱們須要在Intents UI Extension的info.plist文件中設置initial viewcontroller或者設置main storyboard,對於不一樣類型的Intent的界面展現經過Child Viewcontrollers的方式實現差別化界面展現。

如圖7所示,當接收到來自Intents Extension的response時,系統會喚起Intents UI Extension並加載initial viewcontroller,經過INUIHostedViewSiriProviding協議的configureWithInteraction:context:completion:方法能夠獲取intent,好比在發消息功能中,在消息確認發送和發送成功後都會回調一次這個方法。根據Intent對象的類型和狀態,在收到相關Intent的回調時present對應的Child Viewcontroller便可實現定製化的界面展現。

這裏須要注意的是,Intents UI Extension的進程並不會在界面銷燬後就退出,極可能只是在後臺處於休眠狀態,下次response到來時再被喚醒。

圖7 Life cycle of an Intents UI extension

4. 總結

總的來講雖然蘋果這一次對SiriKit開放的場景有限,可是從咱們的適配經從來看蘋果對Siri仍是很是重視的。另外,這是SiriKit首次對第三方應用開放接口,因此不可避免存在一些問題。咱們在開發過程當中也確實遇到了一些SiriKit自己的Bug,大部分bug在向蘋果反饋後都獲得瞭解決,可是在語言識別方面Siri依然存在一些缺陷,好比對中英文混合的場景識別依舊不太好。期待之後Siri對中文的支持愈來愈好,也但願Siri可以開放更多的場景給第三方應用適配。

更多精彩內容歡迎關注bugly的微信公衆帳號:

騰訊 Bugly是一款專爲移動開發者打造的質量監控工具,幫助開發者快速,便捷的定位線上應用崩潰的狀況以及解決方案。智能合併功能幫助開發同窗把天天上報的數千條 Crash 根據根因合併分類,每日日報會列出影響用戶數最多的崩潰,精準定位功能幫助開發同窗定位到出問題的代碼行,實時上報能夠在發佈後快速的瞭解應用的質量狀況,適配最新的 iOS, Android 官方操做系統,鵝廠的工程師都在使用,快來加入咱們吧!

相關文章
相關標籤/搜索