對話|首席研究員童欣：從長遠看，AR的應用範圍遠比VR普遍

​童欣博士現任微軟亞洲研究院網絡圖形組首席研究員。1993年畢業於浙江大學計算機系，獲工學學士學位；1996年獲浙江大學計算機系碩士學位；1999年獲清華大學計算機系博士學位，同年加入微軟亞洲研究院。目前主要從事計算機圖形學方面的研究。

記者：您是研究圖形學的，您最先開始接觸VR（虛擬現實）和MR（混合現實）是在何時？爲何20世紀6-70年代就有VR這概念，但一直沒有發展起來，這中間技術的掣肘點在哪裏？

童欣：早在圖形學開始發展之初，VR和AR（加強現實）這些概念就已經存在了。1990年代初，圖形學裏高端的VR系統叫作CAVE System，由EVL研發，由幾個顯示屏組成屋子的牆，提供一個沉浸的環境，每一個屏幕後面有圖形能力很強的圖形工做站。用戶戴上立體眼鏡，經過一些穿戴上的跟蹤設備和數據手套，就能夠在裏面自由地走動，旁邊的內容會隨着交互而改變。這在當時是一個很是高端、售價很是昂貴的系統。那時VR更多仍是面向工業應用（好比美國的航天系統）或者是軍事應用。PC出現以後，你們開始用PC代替原來的超級計算機，用PC把全部顯示屏搭起來就能作成一個CAVE系統。這是VR發展的一條線索。另外一條線索則是供單我的使用的頭戴顯示器這樣的VR系統。

AR方面也很早，但主要仍是面向很是專門的工業應用。一是軍工。好比說，一家軍工廠須要修理一顆導彈，有了AR就能夠知道先打開什麼地方、須要執行什麼樣的操做，極大地提升效率，減小失誤。對軍工來講，只要能提升效率，這成本就是值當的。一個是飛機制造和維修。波音公司很早就採用了AR的系統，就是小的半透明顯示器置於眼睛前面，顯示的內容疊加在真實場景中——不管是裝配飛機或者是修理飛機，都是很是高難度和複雜的任務，須要藉助維修指南，哪怕只是顯示你在手冊上須要查哪兒，這顯示器的用處也很大。

至於最近這一波VR/AR浪潮的興起，一個緣由是手機產業過去這幾年的發展，讓全部的傳感器和顯示器小型化，且價格真的能讓你們接受，同時，隨着我的計算機計算能力的增加和圖形處理器的發展，使內容顯示的計算能力跟得上。全部這些條件結合在一塊兒，終於能夠用一個普通用戶也能接受的價格爲你們提供比較好的VR體驗。

VR其實一直都在，但以前很小衆、很昂貴，如今慢慢終於發展到了能夠面向普通用戶的時候。

記者：在這一波VR/AR浪潮裏，計算圖形學、人機交互和傳感有什麼技術突破？

童欣：有幾個最重要的進步。首先，在硬件上，過去的傳感器已經很是精確，但售價很是昂貴。智能手機普及後，傳感器大量生產，價格變得很是便宜，傳感器的發展也讓不少定位技術有所進步。GPU的發展也很快，在這麼高的分辨率下，能作到很是真實的顯示——固然，在這全部的背後，還要有不少實時算法進行支持，能結合傳感器數據進行實時的定位，同時把真實感很強的內容顯示出來。另方面是交互技術的進展。目前在VR中，你們的交互基本上仍是依靠設備，如今能夠經過傳感器幫助用戶肯定在虛擬環境中的位置和頭的朝向，還有輸入，用遊戲手柄或者依靠語音、手勢進行，提供很好的天然的交互體驗。這也是一個很大的突破。

以微軟的HoloLens爲例，微軟一直在天然交互，VR和AR領域中進行重點投入和研發。在真實感實時現實方面，微軟研發了不少算法並經過Direct3D提供給用戶，與GPU的發展相互推進，帶給用戶更真實的內容體驗。天然交互方面是Kinect，這是第一次把很天然的體感交互體驗推給用戶，用價格便宜的深度攝像頭，結合最新的算法，來達到用戶姿式的實時識別和跟蹤。近來推出的全息眼鏡HoloLens就是把全部的交互、顯示的最新技術與硬件集大成了。不只僅是硬件上的波導顯示、全息處理器（簡稱HPU，Holographic Processing Unit），以及整個計算平臺的可穿戴化和小型化，更有軟件上的實時定位與場景重建技術、語音識別和手勢識別的技術……全部這些組合在一塊兒才能讓混合現實的技術真正落地和活起來，才能給用戶帶來全新的體驗。

記者：透過HoloLens能夠看到近幾年技術發展的哪些層面？

童欣：我以爲其實不少。首先是硬件層面，這麼小的重量卻要包括一臺頭戴顯示器。HoloLens就作到了，配備一個See-Through屏幕，半透的，能看清外面，同時內容要顯示在上面，分辨率要足夠高。另方面，HoloLens就是一臺頭戴式的計算機，全部的計算單元包括電池都集成在上面，這些並非理所固然地往裏塞，而要平衡不少方面。硬件集成進去，須要保證它高質量地工做，續航能堅持足夠長的時間，好比說3到4個小時……全部這些都依賴於硬件的進步和工藝的進步。有了這些還不夠，還要有最基礎的軟件去支撐硬件。對混合現實來說，最核心的技術叫作SLAM（Simultaneous Localization and Mapping），就是實時定位和場景建模的技術。這是什麼意思呢？當我作VR的時候，因爲整個視野沉浸在虛擬環境中，我只須要根據計算的位置，顯示整個虛擬的場景。如今我在一個真實的世界裏，虛擬的東西能夠按照我計算的視點移動，但真實環境的物體並不會。因此我要知道你的頭在真實世界中的精確位置，這樣，虛擬的東西和真實的東西混合纔會真實。

好比，我想顯示一個虛擬的杯子在桌子角上，我如今一轉頭再看回來，真實世界的桌子和杯子還在那兒，但若是個人計算位置不精確，虛擬的杯子的位置就移動了。但在虛擬的世界中，我怎麼知道你看的是原來的位置，我應該把這個東西顯示出來在原來的位置呢？這就要求計算機必須知道在真實的世界中，我如今在哪兒、我在看哪兒，這個東西必需要實時算出來，同時必須很是穩定、不能有擾動，否則用戶就會以爲顯示的內容在空中飄……這個挑戰是很是大的。微軟經過HoloLens上的攝像頭和很是先進的算法，包括專用的HPU來進行全部的計算，把全部的位置信息能實時地提供給你。這些東西是全部作加強現實，特別是混合現實（MR）最關鍵的技術。

同時，咱們也認識到混合現實這一全新體驗背後須要一系列的技術作支撐，不管是內容生成方面、智能交互方面，仍是最上面的內容的智能理解交互方面，都須要專業的算法，門檻很高。若是隻有幾個大公司作內容、作開發，可能仍是不能知足你們的須要。最好的辦法就是咱們創建一個生態系統，咱們不只提供像HoloLens這樣一個標杆的硬件，並且提供Holographic這樣一個軟件平臺，經過把不一樣的算法和服務變成普通用戶都能用的API，想開發某些應用的人就能用咱們的工具和服務來開發應用，最後能夠作到HoloLens上去，也能夠用到其餘虛擬現實、加強現實設備上去。

記者：虛擬現實和混合現實開啓了一個沉浸式的三維圖形顯示的時代，在三維圖形領域，還有哪些問題是須要解決的？

童欣：光影技術在圖形學裏叫「繪製技術」，實時的、光影真實的三維場景繪製技術一直是研究的熱點。在微軟研究院，咱們第一次嘗試用機器學習的方法處理這一問題，第一次把一些原來很是難作到的複雜光影效果作成實時。咱們相信，隨着這些技術的發展，會有更多的酷炫的光影效果，能夠在VR和MR中呈獻給你們。

還有一個問題在於怎麼更方便地產生更真實的三維場景和交互內容。傳統上咱們須要藝術家去造型，但另外一個方法是從真實世界中直接拍攝捕捉。好比，我想作一個咖啡館，之前藝術家要用三維造型軟件手工去作，包括全部細節，這是一種方法。還有一種方法，是拿一個深度相機或普通相機，把一個咖啡館裏全部的桌子和牆的幾何形狀、材質徹底捕捉下來，把它放在三維場景裏，真實感一下就提升了，全部桌面的材質都會很真實。有了這個技術，藝術家就不是無中生有了，他能夠在這個場景的基礎上把材質改改，好比讓桌子生點鏽，把它變得更有質感。所以內容捕捉技術是很是重要的技術路徑。微軟研究院在這個方向作了很是多的研究工做，咱們的目標也是但願經過咱們的推進，能讓普通的用戶享受這項技術，經過好比Kinect這樣的深度相機，甚至像手機或者是普通相機拍攝的東西，把用戶感興趣的三維物體和幾何形狀表面的豐富材質、光影效果都捕捉下來，完美再如今虛擬的世界裏。一旦這個問題解決了，全部普通用戶都能產生高質量的三維內容，那虛擬世界、混合現實的世界就會變得豐富多彩，用戶的體驗也會提高一個數量級。

記者：混合現實真的要變得實用，還須要解決哪些問題？

童欣：首先從交互的角度來說，要有定位，要有語音和手勢、表情等天然的交互方式，這方面技術還須要進一步成熟。若是高質量的輸出和用戶的輸入方式不匹配，用戶就會以爲這個東西很差用、不天然。一個常被你們忽略的問題出在智能感知層面，爲了讓混合現實的體驗變得更好，咱們須要有更好的下一步的人工智能技術和識別技術。

好比說，在一個場景中，當我戴上AR眼鏡想操做這個東西。定位技術告訴計算機我在盯着這個東西，但是這個東西是什麼呢？可能須要經過識別技術「知道」這是一個遙控器。而後系統知道用戶想使用遙控器了，把遙控器的操做信息從數據庫中拿出來傳遞給用戶，變成一些可視的指南，交給用戶說，你先按這個鍵吧，根據用戶操做的手勢和出現的問題，再給用戶進一步指南——你能夠看到，在這個簡單的例子裏，天然交互，顯示，識別，全部這些都要加在一塊兒，這個場景才行得通。若是裏面缺任何同樣，最後都會變成，聽起來很美好，用戶剛開始也以爲很新鮮，但很快會發現，操做比原有的設備和方法更費事，那麼天然帶來用戶指望和實際效果之間的巨大落差。因此微軟但願能從各個層面開展研究，提供解決方案，縮小落差，讓混合現實變成對用戶真正有用的東西。

長遠看，從應用範圍來說，AR遠比VR普遍得多，未來會滲透到生活各個方面。當你戴上VR的時候，你看不到真實環境，徹底是在虛擬世界的體驗。混合現實更多地能夠想象成視覺助手同樣的東西，極大加強和方便你在真實世界的生活。可是AR技術的門檻更高，所以你們以爲AR的普及可能會比VR晚不少。之前你們會說AR怎麼也得等10年，我我的樂觀估計可能會來得更快。緣由有兩個：第一，AR不少基礎層的智能感知技術，其成熟速度比咱們之前想的要快；第二，隨着AI技術的成熟，識別感知層成熟得更快，好比說物體識別的技術就在突飛猛進地發展。這些技術的進步能對AR的場景產生很是大的推進做用。這些東西若是比之前成熟得快，AR的場景應用就會更快地來到，但具體的時間我以爲很難預測，由於技術的發展真的是太快了。