2019 Google 開發者大會上的這些 ARCore 更新，讓 AR 技術更接地氣

如今，愈來愈多的人致力於研究加強現實技術（Augmented Reality，AR）的現實應用。Google 在 2018 年 3 月推出的 ARCore 正是一個幫助開發者以更簡單的方法和更強大的工具構建加強現實體驗的平臺。這一平臺在過去一年中獲得了飛速的發展，在剛剛過去的谷歌開發者大會上，ARCore 帶着強大升級的新功能和全新應用案例亮相，成爲大會上閃亮的明星。

△ 2019 年穀歌開發者大會

在2019年穀歌開發者大會開幕式的 Keynote 環節，Google 沉浸式計算領域發行與國際夥伴關係主管 Lucy Jin 介紹了 ARCore 在過去一年取得的進步。首先，ARCore 支持的設備數量實現了大躍遷：由 2018 年的 1.75 億增長到了2019年的 4 億多，已有數千個應用程序運用 ARCore 爲用戶提供 AR 體驗，在中國市場也實現了蓬勃的發展。

△ Google ARCore 分會場演講

在谷歌開發者大會的分會場，Google 中國 AR / VR 負責人熊子青介紹了 ARCore 的新近更新和應用實例，Google 技術佈道師 Kai Zhou 則爲開發者們帶來了 ARCore 全新功能和開發技術的深度解析。錯過現場不要緊，下面來回顧一下大會當天的全部技術精華：

加強圖像（Augmented Images）
開啓虛擬場景

利用加強圖像技術，ARCore 能夠監測移動設備拍攝到的圖像信息，並與預先設置的圖像數據庫中的 2D 圖像匹配，在匹配成功以後，返回一個加強圖像的可跟蹤對象，由此獲取該圖像在現實空間中的大小，相對於相機的位置和角度等信息，進而觸發一個預設的虛擬場景。

△ ARCore 加強圖像功能

ARCore 提供的可跟蹤對象的獨特之處在於，當被檢測圖像與相機之間造成一個很是小的角度，甚至徹底移動出相機視野外的時候仍然保持有效。此外，和2018年相比，加強圖像的準確度增長了 30%，檢測召回率加快了 15%，並能追蹤多個圖像和移動中的圖像。

加強圖像功能可加載豐富的虛擬層內容，由此，開發者能夠構建可以響應特定 2D 圖像（如產品包裝或者電影海報）的 AR 應用，解鎖許多圖像互動的新玩法。例如，京東 AR 就運用 ARCore 製做了一款英文字卡遊戲，經過手機相機，用戶能看到每個英文字母都有相對應的立體字型，用戶經過滑動這些字母組成單詞，來觸發特定的 AR 場景。以下圖所示，在拼出「CAR」後，這些字母便會變成一輛奔馳中的小汽車。

加強臉部（Augmented Faces）
帶來手機鏡頭的無限可能

ARCore 的加強臉部 API 提供高精度的由 468 個點組成的密集 3D 臉部網格，能夠用來進行細緻的渲染，並跟蹤人臉部的各類動做細節。運用這一功能，能夠實現各類獨特的面部 AR 效果，這些效果甚至能夠隨人臉的移動而移動。

△ ARCore 加強臉部功能

ARCore 成功運用機器學習實現了 3D 臉部的精準識別，擺脫了深度傳感器的硬件限制，大幅提升了在低端設備上的兼容性。這讓更多的開發者能最大化地利用手機攝像頭的功能，帶來更多有趣的應用。例如，做爲 ARCore 加強臉部功能的第一個合做夥伴，美圖將其應用於 BeautyPlus 和潮自拍這兩款應用上，容許用戶將各類 AR 特效應用於人臉，並開發出了足可亂真的虛擬臉妝功能。

HDR 環境光（Enviromental HDR Light）

爲虛擬物體營造現實感

若想令虛擬物體顯得更真實，一個很關鍵的地方就在於正確呈現其表面的光照和陰影。ARCore 新推出的 HDR 環境光功能，能直接提供 360 度全景的光照信息，並支持動態的光照變化，使得 AR 物體的光影能隨光照而移動。

△ 不使用光照和反射與 HDR 光照下 AR 小火箭的對比

咱們知道，手機攝像頭的侷限在於，拍照的動態範圍有限，不足以模擬天然光照的範圍；此外，其視角大約只能包括 360 全景環境 6% 的區域。那麼 Google 是如何實現從小視角的 LDR 畫面獲得環境光 HDR 的呢？答案就在於下圖所示的鏡面小球。Google 的工做人員利用 3 個不一樣反射度的鏡面小球製做了一個環境光支架，能反射出手機攝像頭看不到的區域，根據 3 個小球呈現出來的圖像，即可以得到高動態範圍的光照信息。

△ 鏡面小球支架

這裏就產生了另外一個問題——手機用戶不可能隨身攜帶這麼一個支架，那麼有沒有辦法不用實際的環境光支架，也能知道某一特定場景下的高動態範圍光照信息呢？答案就是——人工智能！Google 利用在不一樣地方不一樣時間拍攝的 5 千萬張（這一數量還在增長中）照片訓練出了一個能夠從普通手機相機拍攝的圖片推測全 360 度 HRD 光照信息的神經網絡模型，而且利用 TensorFlow Lite 將這一網絡模型存儲在移動平臺，以實現手機上的實時計算。

爲了讓 HDR 環境光更好地爲開發者所用，Google 提供了多個 API：

1. 主平行光的光照方向和強度，適合模擬室外陽光光照、室內總體光照和投射陰影；
2. 27 個球諧光照參數，實現對天然光的全局光照模擬；
3. 16bit 浮點精確度的立方體貼圖，能提供很好的移動光照和反射效果。

經過綜合運用這些 API，開發者們能夠獲得真實的光照效果。這一技術如今已獲得了普遍應用。

除這些新功能外，ARCore 的一些核心功能也獲得了全面升級和更普遍的應用：在運動跟蹤（Motion Tracking）方面，Google 改進了算法，令跟蹤的穩定性增長了 30%，並增長錯誤反饋功能，開發者能夠直接看到明確的錯誤緣由；在平面檢測（Plane Finding）方面，將第一次找到平面所需的時間，減小了 50%；相機如今則支持 AR 照片自動對焦，共享攝像頭權限，以及前置相機鏡頭。

番外篇：在谷歌開發者大會現場體驗

ARCore 的「魔力」

最後，讓咱們來從新遊覽一下谷歌開發者大會現場的 ARCore 展臺，零距離感覺 ARCore 的魔力。喝一杯最體現 AR 的技術路線咖啡，欣賞下潮流模特的時尚風，試玩一下 ARCore 的明星應用，開發者在展臺上玩得不亦樂乎，也獲取了更多開發靈感。

AR 教你打咖啡

擺在咖啡機上邊的照片，可不止是個裝飾。你只要對着這張照片「掃一掃」，便會觸發一個 AR 場景。在加強圖像技術的幫助下，這一 AR 場景能讓你看到這臺咖啡機的內部架構和工做流程，解鎖美味咖啡誕生的奧妙。

AR 模特與實物模特虛實難辨

下面這兩個模特，你能看出來哪一個是實物，哪一個是虛擬的嗎？

在手機上打開環境光 HDR 後，生成的 AR 模特會徹底融入周圍的環境中，呈現出極具現實感的光影。更具魔幻色彩的地方在於，它的影子還會隨着光的變化而變化。

AR 在各行各業的應用也沒有被遺漏，幾款明星應用程序的 Demo 吸引了不少觀衆的目光。

ARCore 明星應用看過來

一塊兒來捉妖

騰訊的手遊《一塊兒來捉妖》， 經過運用 ARCore 的環境理解和光估測，讓真實環境中出現的妖靈顯得更加「栩栩如生」，玩家能夠捕捉它們，培養它們，與它們進行互動。

京東

京東在其移動端上運用了 ARCore 的核心功能，如運動追蹤和環境理解，實現了真實環境中的商品演示，爲買家創造出身臨其境的購物體驗。

美圖

在加強臉部技術的幫助下，美圖的潮自拍提供了種類極爲豐富多樣的 AR 濾鏡，讓用戶能更好地「秀」出獨特的自我。

滴滴出行

即便不是「路癡」，咱們在一些路線複雜、人流量大的地方尋找專車司機時，也經常迷失方向。滴滴出行的 App，如今經過應用 ARCore 的運動追蹤和環境理解功能，爲身處購物中心、機場等大型公共場所的乘客提供 AR 實景導航功能，讓你們不再必爲找不到司機而煩惱。

經過2019谷歌開發者大會，ARCore 在中國開發者羣體中獲得了更普遍的討論和關注。AR 再也不只是一個吸引眼球的科技名詞，它是實用的，可讓人們的平常生活更加便利；它也是富於創造力的，能爲每一個人提供更大的空間去發揮本身的創意。

ARCore 的升級和新功能，讓打造 AR 應用更簡單，也讓用戶的體驗更真實。若是您對 ARCore 的更新有什麼指望和建議，或者在操做的過程當中遇到了什麼問題，歡迎留言聯繫谷歌官方。