萬字分析 | 關於蘋果ARKit的功能梳理和展望

自從在 WWDC 2017 中引入以來，ARKit 的功能不斷髮展，它最初啓用了六自由度（6DoF）設備跟蹤和 Plane tracking 跟蹤，如今通過五次迭代（1.0、1.五、2.0、3.0、3.5），實現了許多功能 最新的 iPad Pro 上的新功能，包括人體追蹤，甚至場景重建，以及新的 LiDAR 掃描儀。以下表所示：

要充分實現AR的潛力，ARKit 仍有很長的路要走，由於 AR 的潛力不只受軟件限制並且受硬件限制，這就是爲何咱們沒有看到主流的HUD被消費者甚至企業大規模採用的緣由。它仍處於移動端模式，也不涉及Apple的其餘AR形式，例如RealityKit，RealityComposer，AR Quick Look。因爲 ARKit 顯然是蘋果傳聞中的 AR Glasses 的前身（預熱）SDK，所以本文將重點介紹目前 ARKit 做爲 AR 支持軟件的侷限性。

• 深度場景重建

• 視覺（視覺框架語義學，視覺錨點）

• 光流框架語義

• 光錨

• 身體（多身體跟蹤，部分身體跟蹤，身體姿式，姿態估計屬性）

• 人員分割（高分辨率和幀頻，實時人像效果遮罩，語義分割，衣服分割，身體部位分割）

• 同時進行人體跟蹤和人員分割（按 ID 進行人員分割，分段射線廣播）

• 人臉（後置相機人臉跟蹤，檢測到的人臉框架語義，人臉區域）

• 手（手跟蹤，手勢）

• 參數人體

• 網體

• 對象（對象 ID，檢測到的對象框架語義，對象分割，對象框跟蹤，實時對象掃描，對象網格分割，對象跟蹤）

• 模型

• 物體和人的去除

• 場景重建（網格紋理，網格填充，房間分割，平面圖生成）

• AR 數據（本地，共享，雲）

• 小組件

一、深度場景重建

經過在最新的 iPad Pro 或者iPhone 12 pro的LiDAR 掃描儀，Apple 提供了帶有 ARKit 3.5 的場景重建。這使設備可以建立環境的 3D 網格，並向每一個頂點（例如地板，天花板等）添加語義分類。這是建立更沉浸式、更有創意的AR體驗的最重要的功能之一，由於你能夠正確啓用遮擋，所以虛擬元素將像真實對象同樣在真實對象後面看，並使虛擬對象可以與真實對象（例如球）互動，例如，它會像真實的球同樣從房間中的物體反彈。

蘋果不會在較舊的設備上啓用此功能是能夠理解的，由於要用一兩個普通相機來實現相同的功能要困可貴多，還有須要大量舊設備沒法提供的計算能力。可是，Apple 推出了用於照片和視頻的深度地圖 （Depth Maps），用於配備了後置雙攝像頭或TrueDepth 攝像頭的設備。

即便質量比使用 LiDAR 掃描儀的設備低，這些相同深度圖也可用於場景重建。這在技術上是可行的，Google 使用單目攝像頭以「深度 API」的名義爲一些開發人員引入了封閉測試版，而 6D.ai 在其被 Niantic Labs 收購以前有一個 SDK 提供此功能。啓用此功能將有助於 AR Map的採用，並激勵開發人員開始嘗試使用此功能併爲其開發應用程序...

二、視覺框架語義

Frame Semantics是 ARKit 3.0 引入的，它們使開發人員可以檢索有關相機框架的信息。它們在運行ARSession 之 前 被 插 入 到 ARConfiguration 中 。當 前 ， ARKit 提 供 了 三 種 框 架 語 義FrameSemantics 類 型 （ 人 體 偵 測 BodyDetection ， PersonSegmentation ，PersonSegmentationWithDepth）。

視覺框架能夠在 ARKit 中添加 RectangleDetection，TextDetection，BarCodeDetection 和QRCodeDetection 框架語義，能夠更好地理解攝像機輸入。此外，能夠將自定義 CoreML 模型添加到 FrameSemantics 中，從而使開發人可以以標準化方式改進 ARKit 並在 ARKit 自己不提供它們的狀況下彼此共享這些模型。

三、光流框架語義

光流提供了一個圖像，其中每一個像素將包含一個 2D 或 3D 矢量，記錄該像素的位置以及基於前一幀或多幀的（移動）的數量。當前沒法使用預構建的 Vision 模型來實現此功能。不過，因爲 ARKit 普遍用於視覺效果，所以向開發人員提供相機框架的光流，將能夠在其上構建有趣的效果。

四、光錨

ARKit 提供有關場景中照明的信息，例 ARLightEstimation，這是每一個攝像機幀的全局值。ARKit 能夠提供 ARDirectionalLightEstimate，它能夠告訴光源來自哪裏，但它不在環境中。掃描環境時，ARKit 能夠檢測到光線並建立ARLightAnchor，其中包含真實光源的位置和方向，光源的強度和顏色以及光源的狀態（開/關）與 AREnvironmentProbeAnchor 結合使用時，能夠實現更加可信的渲染，其中虛擬陰影指向真實的光線，而且能夠進行精確的光反射。

五、人體跟跟蹤

人體跟蹤或運動捕捉是 ARKit 3.0 引入的。經過提供一個 ARBodyAnchor，該 ARBodyAnchor 內部具備一個 3DS骨骼，其中包含全部骨骼關節的位置，它能夠與基於攝影機視圖中人的身體位置的 AR 體驗進行交互。人體追蹤質量不錯，但在某些方面仍然受到限制，可是其中許多限制是因爲此類追蹤所需的計算能力所致。能夠經過如下方式進行改進。

多體追蹤

當前，ARKit 只能跟蹤一我的體，所以，若是在攝像機視圖中有多我的，則該設備將僅建立一個 ARBodyAnchor，以跟蹤一我的。這限制了可使用 ARKit 建立的體驗。爲了實現更多的協做式 AR 體驗，就須要增長被跟蹤物體的數量，就像 Apple 將 ARKit 3.0 能夠跟蹤的三個ARFaceAnchor 數量增長同樣。

部分身體追蹤

身體追蹤的侷限性之一是，只有身體大部分處於在相機視圖才能夠追蹤身體。即便身體部分可見，ARKit 也應該可以跟蹤其身體（複數），並假設或預測身體其他部分的位置。即便僅可見身體的上部，它也會跟蹤身體，甚至僅跟蹤單個身體部分（如手臂或腿）。

身體姿式

3DSkeleton 爲開發人員提供了身體每一個關節的位置。利用這些信息，開發人員能夠建立身體姿式識別系統。例如，若是右手掌關節位置高於頭部關節位置，則表示該人正在舉手。或者，若是兩隻腳都沒有觸地，則表示該人正在跳躍。

ARKit或許應該提供開發人員能夠利用的標準化手勢（蹲下，踩踏，踢人等），而不是讓每一個開發人員構建本身的手勢識別系統，而且最好使用介於 0 到 1 之間的值來指定舉手的數量。與BlendShapes 與 ARFaceAnchor 的工做方式類似。

身體估計屬性3DSkeleton 有助於建立動做捕捉體驗，例如根據人物的動做爲角色設置動畫，可是此信息基於關節在空間中的位置。ARKit 沒有提供有關人的實際 3D 形狀的信息，而正確的環境交互（例如人與虛擬對象碰撞）則須要此信息。這須要跟蹤的網格或參數模型，這將在本文後面進行討論。

爲了繞過此限制，3DSkeleton 能夠延續提供的 EstimatedScale（Height）設置 EstimatedWeight，EvaluateAge，EstimatedSex。利用這些信息，開發人員能夠創建一個參數模型，該模型能夠容納大量不一樣年齡，體重，身高和性別的人，並根據關節跟蹤對其進行動畫處理。

六、人體遮擋

ARKit 3.0 引入了「人員遮擋」，若是虛擬對象在虛擬對象的前面，則這些對象將被人員遮擋。ARKit 經過提供兩個圖像來實現此目的。第一個是模板圖像，其中每一個像素的值在不包含人物的狀況下爲零，不然爲 1。第二個是深度圖像，其中每一個像素包含一個距離相機的距離的度量值。而後，將這兩個圖像饋送到渲染器，以根據對象在環境中的位置遮擋對象。這是一個很棒的功能，但仍有改進的空間。

更高的分辨率和幀頻

當前，開發人員能夠爲Stencil Image得到的最高分辨率是1920x1440和Depth Image 256x192。ARKit 將「遮罩」應用於「深度」圖像以匹配「模具圖像」的分辨率，結果仍不完美。因爲分辨率較低，邊緣像素仍然存在錯誤。這與 AVFoundation 提供的 RBG 圖像（4032x3025）或深度圖（768x576）仍然相去甚遠。最終，這些圖像的分辨率應與相機分辨率匹配。一樣，深度圖像以每秒 15 幀的速度捕獲，須要將其增長到每秒 60 幀才能得到更流暢的體驗。

實時人像效果遮罩

從技術上講，人像細分是 AVFoundation 的 Portrait Effects Matte 提供的。不一樣之處在於人物分割是實時的，肖像效果遮罩僅適用於照片，具備更高的分辨率，而且提供不透明度，所以人物的像素不是零或一，而是介於二者之間。這樣能夠實現更好的效果，由於與「人物細分」相比，人物彷佛沒有被清晰地裁剪出圖像。ARKit能夠提供實時的人像特效遮罩，具備與遮罩相同的質量，並具備不透明像素且爲實時。

語義分割

AVFoundation 提供了另外一種稱爲語義分割遮罩的功能，這使開發人員能夠根據類型檢索肖像效果遮罩中的像素。當前，它提供三種類型（頭髮，皮膚，牙齒）。這些能夠在 ARKit 中實時訪問，而且能夠添加其餘一些類型，例如「眼睛」，「瞳孔」，「嘴脣」，「睫毛」等

服裝細分

這與語義分割相同，但對於服裝，開發人員將可以檢索包含襯衫，牛仔褲，鞋子，帽子，衣服，配飾等的像素。這將使你可以體驗更改襯衫顏色。

身體部位分割

語義細分很明顯的知道牙齒和皮膚在哪裏，不在哪裏。身體部位沒有清晰的切口，手腕末端沒有確切的位置。ARKit 應當使開發人員能夠訪問屬於手，腿，頭等的像素。這能夠建立僅影響手或上身的視覺效果成爲可能。

同時進行身體追蹤和人的細分

ARKit 3.0經過提供人員細分和人體追蹤功能將AR體驗升級，可是，可能因爲這些功能須要大量的計算資源，Apple 限制 ARKit 一次只能運行其中之一。這些功能齊頭並進，尤爲是在視覺效果方面，ARKit 應當同時運行它們。

按 ID 進行人員細分

人物細分返回的圖像包含其中包含人物的全部像素，但不會區分每一個人物。ARKit 應該可以按ID 提供人員細分，所以每一個人都有一個細分圖像，並帶有惟一的 ID。此 ID 也將與 3DSkeletonID 匹配，所以它們能夠彼此關聯。這使得能夠對一我的執行計算，而沒必要將圖像中的全部人都視爲同一我的。

分段光線投射

提供按 ID 劃分的分割圖像仍然不夠，它們必須是可選擇的或射線可投射的，所以，若是用戶在圖像上指定一個點，它應當檢索選擇的人物圖像及其 ID。這將使開發人員可以要求用戶提供對其執行某些邏輯或效果的人員的輸入。

七、人臉

人臉跟蹤是在 iPhone X 的發佈中引入的，iPhone X 是第一款配備 TrueDepth 相機的手機。它的準確性和功能強大，後置攝像頭面部追蹤臉部追蹤功能僅限於帶有前置 TrueDepth 攝像頭的設備。App Store 上的許多其餘應用程序均可以使用普通的前置攝像頭或後置攝像頭來進行面部跟蹤。即便 ARKit 在 FaceGeometry 的頂點數量上質量較低或缺乏 TrueDepth 相機（例如 BlendShapes）的相同功能，它也應該可使用後置攝像頭實現 ARFaceAnchor 檢測和跟蹤。該 ARFaceAnchor也應該能夠經過 ID與ARBodyAnchor 關聯。

已被偵測臉部的框架語義：

Apple 的 Vision 框架可實現人臉矩形和地標檢測和跟蹤。能夠添加新的 DetectedFace Frame Semantic 類型，以容許開發人員直接在 ARKit 中訪問此信息，並將其與 ARFaceAnchor 和ARBodyAnchor 關聯。

臉部區域：

當前，「面部幾何」由 1220 個頂點組成，可是沒有明顯的方法知道哪一個頂點對應於哪一個特定的部分或面部區域，例如鼻子的尖端或額頭的中部。爲了實現這一點，開發人員必須經過其索引來檢索頂點，而且須要經過反覆試驗來使用幻數，或者編寫一個顯示每一個頂點的索引的小程序，而後將其映射到他們的應用程序中。ARKit 提供一個基於傳遞給它的類型參數來返回正確頂點/索引的函數是相對容易的。不然，返回組成面部部分（如嘴脣或眼瞼等）的頂點集合，從而實現操縱面部網格的特定部分的體驗。

八、手

手部跟蹤對於智能手機上的 AR 體驗不必定有用，可是，對於未來的 AR HUD，這是必備功能啊，使ARKit具有跟蹤手部的能力將使開發人員有機會開始嘗試此功能並開始積累經驗，爲發佈Apple的 AR眼鏡作好準備。

手部追蹤

ARKit 可使用 ARHandAnchor 檢測並跟蹤手，錨點包含手的位置和方向。它會跟蹤人體跟蹤Body Tracking 3Dskeleton 裏未跟蹤的關節。每隻手的手指有 24 個關節（每一個手指有 5 個關節，拇指除外 4 個），以及手的類型（左或右）。該錨點也將與 ARBodyAnchor 關聯，並在使用後置攝像頭面部跟蹤時完成 3DS 骨架跟蹤。錨點還將包含 ARHandGeometry，它會根據手的形狀而不是僅根據關節來修改其參數。這將使用戶可以使用他們的手與虛擬對象進行交互，與 Leap Motion，HoloLens，Oculus Quest 或 MagicLeap 中的功能相似。

手勢

僅跟蹤關節和網格還不夠，用戶還應該可以執行手勢，例如合攏手，指向，捏等。這些手勢將觸發開發人員可使用的事件。它們的構建方式應能夠相似於 Face Faceing 中的 BlendShapes，所以開發人員將可以根據零到一之間的數值知道知道手的張開程度。會有各類各樣的手勢來實現大量的交互。

九、參數人體

使用 ARKit 進行人體追蹤只能提供關節位置，這限制了人們與虛擬對象之間的互動，例如，當向一我的扔球時，除非你附加了一個不可見的基於跟蹤關節運動的人體模型，不然該球不會與該人發生碰撞。不過，人們的形態和形式各不相同，所以該模型並不適合全部人。解決此問題的一種方法是向ARBodyAnchor 提供 ARParametricBodyGeometry。錨點應當檢測有關身體參數的信息。腰圍，手臂，腿的寬度等。而後將基於此信息生成參數模型，並根據關節位置對其進行跟蹤。

十、網格人體

解決 3D 身體交互問題的另外一種方法是提供一個 ARMeshBodyGeometry。這相似於 Kinect 提供的功能。它是根據攝像機或 LiDAR 接收到的深度數據生成的人體動態網格。ARKit 將跟蹤此網格，並將其包含在 ARBodyAnchor 中。網格也能夠經過身體部位（MeshBodyPartsSegmentation）或衣服（MeshClothingSegmentation）進行細分和查詢。所以，開發人員能夠檢索對應於襯衫或手的網格部分。

十一、對象

ARKit 2.0 引入了 ARObjectAnchor，它能夠檢測掃描的對象。這是經過運行掃描配置，指定圍繞對象的框，掃描對象的全部側面，而後導入到世界跟蹤配置以在檢測到事件時觸發事件來完成的。這隻在建立靜態體驗時有效，例如在博物館中，由於沒有跟蹤，只有檢測。對象跟蹤對於加強交互式 AR 體驗相當重要，應將 ARKit 當前提供的功能進行重大改進。

對象 ID

如下全部功能均可以添加到同一對象上，所以，對於每一個對象，不管這些功能適用於 2D 仍是3D，都必須使用惟一的 ID 將全部這些功能相互關聯，這一點很重要。

與其餘框架語義相似，開發人員將可以插入 DetectedObject 框架語義，而後以每一個對象的位置，對象的分類以及置信度的矩形的形式檢索框架中對象的數據。可檢測的對象列表須要全面，包含用戶平常生活中遇到的大量對象，開發人員也可使用本身的檢測和分類機器學習模型來對其進行修改和擴展。

對象分割

相同的對象分類列表也能夠是可分段的。所以，開發人員能夠經過在ARConfiguration 的幀語義中插入 ObjectSegmentation 來檢索屬於特定對象的像素。

對象框跟蹤

當前的 ARObjectAnchor 僅限於檢測參考掃描對象。ARObjectAnchory 應可以基於指定的配置檢測場景中的任意數量的對象，而後在它們周圍建立包含對象的位置，旋轉，比例，分類和惟一 ID 的框。

實時對象掃描

若是克服了計算限制，啓用自動對象框跟蹤功能能夠在未來的版本中啓用實時掃描。ARKit 會自動在對象周圍建立框，對其進行分類，無需任何用戶輸入便可對其進行掃描。而後保存它們以備後用。

對象網格分割

建立自動對象框還應當能夠啓用對象網格分割，目前，「場景重構」建立的網格不會分離對象。它能夠進行簡單的分類，但不會從杯子所在的桌子上分割杯子。能夠提取對象網格並將其做爲ARObjectMeshGeometry 添加到 ARObjectAnchor。對象追蹤 ARKit 當前不支持對象跟蹤，僅支持檢測，所以能夠在對象上構建的體驗很是有限。經過具備上述功能的基於對象掃描或對象分段網格的對象跟蹤，將使開發人員可以攜帶對象並使它們以各類組合在 AR 中交互。

十二、模型

ARObjectAnchor 經過掃描實際對象來工做。人們在平常生活中使用的大多數對象都是大量生產的，並具備相應的 3D 模型。ARKit 能夠提供 ARModelAnchor。與 Vuforia 提供的「模型目標」類似。這樣能夠識別熟悉的對象，電器、設備（甚至是 Apple 設施），而後建立一個錨點，該錨點提供有關檢測到的模型的信息並隨着時間的推移對其進行跟蹤。蘋果還應能夠提供相似於 App Store，Model Store 的東西，這些現實對象（玩具，設備等）的生產者能夠上傳這些東西，以便 ARKit 應用能夠識別它們並在其上構建應用。

物體和人的去除

顧名思義，加強現實技術很是適合經過向其中添加虛擬對象來加強現實。可是，有時刪除對象也能夠加強現實性。有人稱它爲「減小現實」，能夠從渲染的相機框架中去除物體和人物。這能夠實現諸如房屋改建之類的體驗，該應用程序能夠從視圖中移除傢俱以放置新傢俱。或從公共視頻中刪除人員，以出於審美或隱私緣由捕獲場景。

1三、場景重建

ARKit 3.5 引入了 Scene Reconstruction，爲 AR 應用程序提供了強大的功能，例如與真實環境交互的虛擬對象和真正的遮擋，但仍有改進的空間。

網格紋理

ARMeshGeometry 不提供紋理座標，所以很難在幾何圖形上放置紋理。ARKit 應能夠提供紋理座標和紋理提取。所以，對象或場景的 3D 網格掃描將看起來與真實對象類似，而且不只具備其形狀，還具備其屬性。網格填充若是實現了前面提到的「對象網格分割」，則須要一種「網格填充」算法來填充接觸表面。所以，若是將書從咖啡桌上分割開來，放置書本的頂點應被填充，以使網格中沒有孔。一樣，若是看不到對象的某些部分，該算法能夠嘗試智能地填充缺失的部分，並在之後提供更多信息時更新網格。例如，從地板和牆壁上分割沙發，該算法將填充沙發的背面。

空間分割

根據數據效率對當前生成的網格進行分段。基於房間或空間的語義分割會更合適。開發人員將可以檢索屬於廚房或客廳的網格，併爲每一個區域創建定製的體驗。當設備進入該區域時，ARKit可能會觸發觸發器，相似於 Vuforia 提供的「區域目標」

平面圖生成

在實施對象網格分割，網格填充，空間分割以及已經包含的平面和網格分類以後，ARKit 能夠生成該空間的準確 2D 和 3D 平面圖。房子或辦公室的平面佈置圖將提供乾淨的空間模型，供不一樣的應用程序使用。

1四、AR持久化數據

當前，每次用戶打開 ARKit 應用程序時，該應用程序都會從頭開始映射環境。儘管能夠保存，從新定位或共享該地圖，但仍由開發人員決定將不一樣的應用程序鏈接在一塊兒並讓他們共享此數據。若是每一個應用程序體驗都孤立無援，AR 不能提供使人鼓舞的價值。爲避免這種狀況，Apple 能夠提供一個本機數據保存解決方案，該解決方案能夠在各個應用程序之間共享並集成到其餘Apple 的應用程序和服務（例如 Siri，Home，地圖等）中。就像 Apps 能夠訪問你的聯繫人同樣，他們也能夠訪問在你容許的狀況下，你的房屋地圖。前面討論的大多數功能都是關於獲取有關場景，對象和人物三個類別的世界知識的。不須要每次都從新掃描這三個類別的大多數屬性。用戶房屋的形狀不會常常變化，可是其中物體的位置會發生變化。能夠對數據進行一次掃描，保存並在更改後進行修改。公司仍在研究如何解決共享此數據所固有的隱私問題，所以尚不清楚蘋果或其餘公司將採用哪一種方法，可是很明顯，若是沒有這些數據的互操做性，AR 應用程序和體驗將受到限制。這個主題須要更長的討論時間，可是如今，本文將簡要討論此數據的三層次。

本地

用戶掃描房屋，房屋中的物體以及他們的身體，而後將這些數據本地保存在設備上。能夠經過不一樣的應用程序訪問它，但只有在獲得用戶許可的狀況下，才能保證不會將其導出或共享到外部。這使應用程序能夠共享數據並在此數據之上構建體驗，但仍然僅限於首先掃描數據的設備或用戶賬戶。共享公司掃描辦公室或工廠及其內部的對象，並與員工共享此數據，以提供應用程序和服務以在工做期間爲他們提供幫助。用戶對此數據執行的訪問和操做受其角色和特權以及數據全部者指定的內容的限制。這也將在消費者級別上起做用，在該級別上，一個家

庭將彼此共享房子的映射計劃，但仍然以某種方式限制了它的訪問。

雲

世界被數以百萬計的用戶掃描，並將其保存在雲中，有時也稱爲 AR 雲。可是，不只限於點雲數據，還包括上面提到的全部高級理解數據。這裏的數據全部權很是重要，由於用戶不但願其餘用戶訪問其私人空間或對象。儘管城市可能但願其用戶能夠訪問他們的街道，博物館，公共場所，但也許只有實際位於城市中的用戶才能訪問它們。這將使數以百萬計的用戶之間共享體驗，並以某種方式將物理現實變成社交媒體平臺，使他們能夠在其中共享事物，放置藝術品，玩遊戲以及許多其餘可能性。關於如何處理這些數據以及每種方法的優缺點的爭論仍未開始，但能夠確定的是，AR 成爲下一個計算平臺是必需的。

1五、小組件

將 AR 數據本地保存，與你的聯繫人共享或保存在雲中以後，出現 AR（移動端）的必殺技--小部件。窗口小部件是實現較小功能的小型應用程序或小程序，能夠固定到任何掃描的數據，場景，對象或身體上。這些小窗口小部件的組合是基於 OS 保存的數據而構建的，這正是 AR 真正的威力所在，它使用戶能夠在其語境中完成特定任務。計時器能夠固定在你的上方，新聞能夠固定在浴室的鏡子上，手冊能夠固定在打印機上，甚至虛擬手錶也能夠固定在你的手腕上。例如，若是咖啡快用完了，用戶能夠按下咖啡機旁邊的虛擬按鈕，以將咖啡添加到購物清單或在線訂購。經過提供有關世界的適當信息並提供能夠直接在其語境中直接採起的適當措施的方式，AR 的實用性來自於使咱們平常的小任務變得更加輕鬆。

窗口小部件也能夠與設備或裝置（甚至 Apple 設備）捆綁在一塊兒。你的 HomePod 會顯示歌曲的信息以及正在播放的藝術家。你的電視周圍可能會顯示建議，洗衣機能夠顯示給您其不一樣的設置。最終，開發人員應該可以開發這些小部件並在 App Store 上提供它們，它們能夠通用運行，也能夠爲特定的設備使用。用戶將可以將它們安裝在本身的空間中，並針對不一樣的場合，時間或心情使用不一樣的配置或佈局。窗口小部件能夠由一我的訪問，由一組人共享或公開給任何人使用。當技術變得無形時，它將發揮最大做用，AR 應用程序，這時是最有用的。可是，要得到對世界的更好了解，保存這些數據並共享它們，而後針對不一樣的用例錨定不一樣的小部件並使用 AR 眼鏡進行訪問，這是咱們仍然有很長一段路要走的終極 AR 體驗。