蘋果在AR VR領域的現狀與預測

說明

蘋果目前對AR投入巨大,CEO庫克也屢次表示看好AR的發展.

可是蘋果的AR之路到底會怎麼走? 一個只能識別平面,只能單人使用的ARKit框架能讓開發者開發出受用戶歡迎的app麼?

VR設備蘋果還作麼?

下面咱們從收購,專利等方面談談蘋果的AR/VR之路.裏面帶有個人一些不負責任的猜想,你們輕噴.

收購的相關技術公司

通常來講,蘋果收購有如下特色:

• 收購新技術/新公司後,再也不對外提供單獨產品,而是整合進iOS系統/iPhone手機中;
• 每每會改變原始用途,與iOS系統結合後提供新的體驗;
• 平均在2~3年後應用到iPhone上,通常不超過4年;

---

公司名稱	主要技術與產品	收購時間	整合現狀	將來動做預計
Polar Rose	人臉識別技術	2010-9	持續整合到普通相機,人像模式中	---
PrimeSense	3D視覺技術,深度感知,結構光識別,動感捕捉攝像頭	2013-11	小型化後,2017年用於iPhoneX前置攝像頭	---
LinX Imaging	移動設備多攝像頭畫質加強,成像拼接,深度感知	2015-4	2017年後置雙鏡頭深度信息	---
Metaio	Metaio Creator:加強現實創做工具,計算機視覺的識別和跟蹤算法	2015-5	ARKit的基礎,2017年發佈.平面識別,光照估計,6自由度	2018年升級ARKit更多識別類型
Perceptio	容許手機獨立辨認圖像，而無需依賴任何外部數據庫	2015-10	2017年Vision視覺框架;2018年ARKit1.5識別圖像	---
Faceshift	動做捕捉公司，實時抓捕人的面部，而後用動畫表現出來,依賴於PrimeSense的識別技術	2015-11	2017年用於iPhoneX前置攝像頭的Animoji	---
Emotient	表情跟蹤識別技術,分析人類表情與感情	2016-1	2017年用於iPhoneX前置攝像頭面部表情捕捉	---
Flyby Media	空間感知平臺:能夠將信息綁定在某個地點或者建築，只有經過掃描同一建築才能讀取這條信息	2016-1	---	2018年用於ARKit升級,升級多人玩法
Realface	生物識別登陸系統	2017-2	2017年用於iPhoneX前置攝像頭Face ID	2018年前置攝像頭Face ID改進升級
Senso Motoric Instruments	眼球追蹤眼鏡和系統	2017-6	---	2021年用於AR眼鏡
Regaind	圖像內容識別,識別照片中物體是人是狗	2017-9	---	ARKit升級;Vision視覺框架升級
Vrvana	Totem頭盔:「延伸現實」設備，AR和VR結合	2017-11	---	2021年用於AR眼鏡
InVisage Technologies	量子膜:改善智能手機等受空間限制的設備的成像能力	2017-11	---	改善手機攝像頭
Shazam	識別音樂的功能，強大的機器學習視覺系統	2017-12	---	ARKit升級

此外,爲了在地圖領域加強實力，蘋果前後收購了多家地圖和導航服務公司，其中包括C3 Technologies、WifiSLAM、Locationary、HopStop、Embark、Coherent Navigation、BroadMap、Indoor.io等.

預計會對之後的AR+地圖玩法有幫助.

蘋果公司收購列表

申請的相關專利

蘋果的專利從申請到真正用在產品上,時間每每更長,每每須要4~5年,甚至長達7年以上.

---

時間	專利	描述	整合現狀	將來動做預計
2006	能夠容納帶顯示屏的電子設備	一款可以放入手機的物理框架，並將手機屏幕放置於用戶眼前，其中在用戶雙眼和手機屏幕之間存在着光學組件，用於接收手機屏的圖像。2016年3月申請延續該專利	---	手機VR
2011	三維物體識別技術	經過自動化的生物特徵識別系統，經過曲線、點和物體輪廓等識別3D對象。這一技術將能精確的識別人臉，而不像某A系統那樣，分不清真實人臉和照片的區別。	2017年用在iPhoneX	---
2014-12	激光束測繪技術	藉助激光傳感器以及激光束來收集特定空間內的測量數據，包括空間的形狀、距離、環境對象的屬性及體積等信息。	---	2018年後手機AR,2020年後AR眼鏡
2015-1	眼部追蹤技術	解決「特克斯勒消逝效應」(Troxler Fading Effect)	---	2020年後AR眼鏡
2015-5	柔性屏幕專利	這是一種在固體發光像素周圍設計許多小孔的屏幕，可將屏幕變得又薄又柔軟，以幫助 AR 應用。經過像素現實虛擬圖像，同時透太小孔查看屏幕另外一邊的現實圖像。	---	2020年後AR眼鏡
2015-6	上半身體感操做	容許用戶經過擺動上半身做出多種姿式從而控制一個操做界面。	---	2020年後AR眼鏡
2015-11	基於用戶目光的顯示屏事件延遲	蘋果提出的系統能夠延遲顯示屏事件，直到用戶的目光看到。減輕了渲染和顯示的壓力。	---	2020年後AR眼鏡
2016-7	AR 顯示使用到的相似光波導技術	這項技術是讓圖像從離軸源文件中投射出來，經過透明物質(護目鏡或薄片)進入視線。	---	2020年後AR眼鏡
2016-7	AR 映射系統	這套 AR 映射系統可以利用 iPhone 的硬件將加強現實功能疊加到直播視頻上。用戶經過手機應用能夠在一些現實場景中標記數字信息，好比街道名稱、興趣點等等，並用攝像頭進行掃描。	---	2018年後手機AR加強,2020年後AR眼鏡
2016-7	裸眼3D	一種像素陣列，內建子像素和透鏡結構，後者在多個不一樣的角度發光。	---	Mac平臺
2016-10	3D投影手勢	利用一種抓取的手勢，一種推進的手勢，一種釋放的手勢，還有查詢，縮放，搜索，執行等，甚至更多的手勢來進行人機交互。好比說，咱們能夠用推進的手勢來點擊打開一個 App 。	---	2020年後AR眼鏡
2016-11	AR 頭盔專利	這項專利描述的是一種保留移動電子設備屏幕的頭盔式顯示屏儀器，頭盔式屏幕系統以及操做方案可讓用戶「配對」或「解除」。	---	2020年後AR眼鏡
2017-2	帶有攝像頭的可穿戴信息系統	這項技術可能會用在一款頭戴顯示器中，而顯示器上搭載的攝像頭能夠接收與顯示器相同視角的信息。該系統可下載有趣的內容，並用 AR 展現出來。	---	2020年後AR眼鏡
2017-3	利用景深增強人臉檢測	這項專利是經過計算機視覺系統，利用專門的硬件和軟件進行人臉識別，尤爲是已經保存到數據庫中的人臉數據。	---	2018年後手機AR加強
2017-6	頭戴式顯示器	咱們能夠將一個可移動的電子設備放置到這個頭戴式顯示器上，而這個可移動電子設備幾乎能夠確定是一臺 iPhone 。	---	手機VR設備
2017-8	3D手勢操做	爲交互式現實加強提供了設備和方法，這其中包括一個二維相機和一個三維相機，相關的深度投影機和內容投影儀，以及一個與三維相機和二維相機相關的處理器。	---	---
2017-10	全虛擬現實（VR）套件相關	描述了動態修改圖片，實時向用戶展現圖片和基於文字的相關數據的方法。專利申請描述的方法適用於有限視場和全景的靜態、動態圖片。	---	Mac平臺

蘋果公司專利查詢網站
蘋果公司ARVR相關專利列表
蘋果公司地圖與定位相關專利列表
蘋果公司無人車相關專利列表

---

演進方向猜想

AR方向

從目前的收購狀況和專利申請狀況來看,蘋果當前的主要方向仍是AR,包括目前運行iOS系統的iPhone/iPad,和將來運行rOS(猜想的名字)的AR眼鏡.

預計的結果是,在將來三年,繼續對iPhone/iOS上的ARKit框架進行加強.可改善的方面有:

• 加強CPU和GPU,改進人工智能運行速度,提升識別速度下降功耗,增長續航;
• 後置攝像頭添加飛行時間技術(ToF)或激光雷達(LIDAR),加強深度感知速度和精度;目前的視覺慣性里程計方式感知場景限制太多,場景太亮不行,太暗不行,運動太快不行,徹底不動不行,缺乏花紋不行,半透明或反光也不行,急需加強;
• 增強與地圖的整合,如今的AR沒法與地圖關聯起來,AR只能經過攝像頭捕捉到的畫面來感知和理解場景,對於目前的AR來講,家裏的地面和市中心商業廣場的地面都只是個平面,沒有什麼不一樣;
• 容許多人AR空間聯合,好比我在廣場上用AR對雕塑進行了繪圖,別人從其它角度用AR對着雕塑也能看到個人做品,不須要徹底同樣的角度進行校訂.
• 陀螺儀加強,並結合深度信息,加強SLAM( 即時定位與地圖構建)能力,完善AR物體與現實物體的遮擋,碰撞關係;
• 識別AR場景中的人臉和手勢,更長期須要支持眼球追蹤/人體姿態識別,解決AR交互問題.

三五年後AR眼鏡出場,由AR眼鏡繼續完成AR功能.

VR方向

從專利來看,目前的VR也在研究中,包括內置手機的頭戴設備(相似於cardBoard盒子),和須要外部定位的頭戴設備(相似HTC的vive),但這個彷佛並非重點,猜想多是蘋果認爲這種方式使用體驗太麻煩,限制多.

這種內置iPhone的頭戴VR設備,可能只是與Apple TV配合看電影使用.雖然技術上已基本完成,但普通iPhone的LCD屏刷新率不足,iPhoneX又太貴並且刷新率目前也不支持90幀,按蘋果的風格不太可能會推出.

還有一種可能,蘋果如今打算將iMac pro作爲VR的開發平臺,因此VR頭顯會繼續研究下去,之後可能會推出與iMac pro配套的頭戴式設備來替換目前使用的Vive等產品.

綜合判斷,短時間內VR設備應該是不會推出的,至少在AR眼鏡出現前,VR設備不會出現.但Mac將會作爲VR開發平臺繼續高速發展.

AR何時能真正火起來?

真正火起來,須要硬件+軟件+爆款內容.

• 硬件層面:真正準備好的只有iPhoneX,前置攝像頭主要針對人臉AR,後置則是平面識別+深度信息,還有A11處理器的配合.iPhone8 plus則只有後置雙攝像頭和CPU充份知足了AR要求.其餘的A9以上CPU的單攝像頭和7p的第一代雙攝,效果只能說湊合,並且後續也沒什麼潛能能夠挖掘了. X和8p的雙攝還有潛力可在軟件升級後發揮出來.

• 軟件層面:ARKit效果不錯,但如今仍是隻能識別平面.人臉AR則須要iPhoneX的前置攝像頭配合.因此不少人爲了體驗AR功能,將舊手機升級到iOS11,但只是體驗一番就再也不用了,畢竟目前效果仍是太少可玩性不高.預計2018年ARKit會有較大升級,依託雙攝和人工智能,會支持更多功能和效果.

• 爆款內容:蘋果屢次重點說起了Pokemon Go,顯然是還想用這個遊戲來讓AR再火一把,惋惜你們新鮮勁兒已通過去了.WWDC2017只是吸引了程序員的注意,小demo出了很多但大做幾乎沒有.後來的產品發佈會,戰爭機器這個AR遊戲不錯,但在國內遲遲不上架,就算買了iPhone8 plus和iPhoneX也沒人一塊兒玩啊.

綜合判斷,真正火起來大約是在2018年後期至2019年中,iPhoneX普及+ARKit更新+AR大做打磨好的時候.

最後

總結一下:

• 手機AR目前重點,大搞特搞,不斷迭代;
• AR眼鏡正在研發,3~5年後問世,真正火爆;
• VR設備投入很少,遙遙無期,Mac開發卻是不錯.
• 蘋果汽車十分神祕,尚需研究,融合VR/AR.

iOS上的AR技術請參考:WeekWeekUpProject