今年春晚不同，XR技術如何打造移步換景

1、概述

不知道你們發現沒有，相比前幾屆春晚，《2021年春節聯歡晚會》的視覺效果可謂面目一新，不少節目均可以看到新科技的東西，好比AR、XR、電影特效技術等將現實舞臺上沒法完成的效果精彩呈現，融通虛擬空間與現實世界。

相對於通常的AR場景，今年春晚做品在AR創做上更爲複雜、精細。而XR技術打造了多場景及空間轉場變化，讓觀衆有移步換景、身臨其境的沉浸式體驗。加之電影特效技術的運用，爲電視機及電腦、手機前的觀衆帶來一場突破感官體驗的驚喜之旅。

不少人已經聽過AR技術，它是一種現實加強技術。不過相比於AR技術，不少人或許尚未據說過XR技術。

簡單來講，XR是「擴展範圍（extended-range）」的縮寫。將來，人類的交互方式將由2D交互向更具效率的3D交互轉變。3D視覺交互系統則取決於虛擬現實（VR）、加強現實（AR）和混合現實（MR）的發展，這些技術統稱爲「擴展示實」（XR）。

虛擬現實技術利用頭戴設備模擬真實世界的3D互動環境；加強現實則是經過電子設備（如手機、平板、眼鏡等）將各類信息和影像疊加到現實世界中；混合現實介於VR和AR之間，在虛擬世界、現實世界和用戶之間，利用數字技術實現實時交互的複雜環境。

2、 VR\AR\XR簡介

VR

虛擬現實技術（irtual Reality的英文翻譯），其最終目標是試圖經過虛擬（欺騙）人類全部感官的方式，將人沉浸的帶入另外一個世界。試圖在虛擬世界中重塑物理定律，生化特性，充分發揮人的想象力，是創造一個新世界般世界的偉大工程。其將來發展能夠用在塑造全新物理空間和互聯網世界，擴展人對世界的別樣體驗。

虛擬現實技術有如下幾個特色：

注重沉浸性

沉浸性說的就是用戶在使用VR交互設備時，虛擬世界的代入感和設備的體驗感可否讓人感覺到身臨其境的感受。咱們已經在無數的影視文學做品和動漫中幻想過相似的場景，如《黑客帝國》《刀劍神域》《頭號玩家》中同樣，與真實世界難以分清的世界，纔是一個合格的虛擬現實世界。可是受限於目前基礎科學的技術水平，還作不到徹底意義上的沉浸世界。

實現天然的人機交互

肉體感知能力的狹隘和虛擬世界的自由浩瀚是VR技術當前的發展主要矛盾之一。如今人們在探索經過外界機械設備來模擬在虛擬世界的交互反饋來試圖解決這個問題，但虛擬世界中的物體感知很難作到與真實世界相同，凡是涉及力學反饋的（如重力影響的模擬和摩擦力反饋）幾乎都沒法實現，基本的抓取與觸摸動做都沒法實現真正的模擬。我的認爲腦機接口才是將來的終極形態。由於人類只有拋棄繁重無用的肉體，才能擁抱徹底意義的虛擬世界。

無限可能

虛擬的世界擁有着無限的可能，因此每一個虛擬世界應該有本身獨特的物理規律和世界觀，這和咱們生活的物理世界是不同的。在真實世界中，發現與利用科學規律是人類生存和發展的根基，而虛擬世界中，想象力纔是世界的根基，想象力到哪裏，虛擬世界的將來邊界就在哪裏。在虛擬空間中每塑造一個新世界，就完成了一次上帝創世的過程。就像《刀劍神域》中的seed同樣，雖然擁有着相同的開源代碼，但不一樣的人，不一樣的公司，能夠將它轉變爲屬於本身的不一樣世界，正如一千我的眼中有一千個《哈姆雷特》同樣，一千我的眼裏就有一千種虛擬世界。

AR

加強現實技術（Argument Reality的英文翻譯），是經過在現實世界中實時顯示附加信息的方式，來加強人們對於真實世界的信息獲取，其本質是人們對於實時信息獲取的一種渴求。隨着AR技術的發展，人們發現冰冷的附加信息不如將虛擬的信息和真實世界融合在一塊兒，因此當AR技術發展遇到瓶頸以後，MR/XR技術應運而生。

AR技術的主要特色：

實時鏈接

AR技術也是伴隨着3G 4G等通訊技術的興起而逐漸發展而來的互聯網終端技術，因此其基本要求是實時聯網，實時鏈接，可以爲使用者提供快捷的信息服務。

信息橋樑

AR扮演的是真實世界和互聯網世界的信息橋樑這一個角色，這主要經過附加信息的方式來實現。主要目標是爲人類在生產生活中隨時獲取到加強信息，爲人類提供更加快捷便利的信息獲取方式。

遵循物理規則

AR僅僅是爲互聯網世界提供了一個輸入輸出接口，人在獲取其加強信息的時候須要同時保證其自身安全，因此設計的時候須要考慮安全問題。

XR

混合現實技術（Mixed Reality的英文翻譯）源自AR技術的延伸和發展，人們發現AR技術提供的冰冷的附加信息十分突兀且功能有限，一羣天才科學家和極客們開始暢想將虛擬世界與真實世界整合到一塊兒，MR技術隨之而生。

較早實現MR商業化的企業是微軟，於2015年1月22日發佈了旗下第一代MR頭盔HoloLens。經過複雜的光導系統將顯示信息附加於真實世界的之上，經過TOF技術獲取周圍空間的三維數據並構件空間模型，在空間模型的基礎上附加顯示。（微軟在XBOX的Kinect套件上得到了重要的技術積累）微軟首先集成並實現了對真實世界的建模及信息附加的功能。

如今，咱們能夠看到蘋果，谷歌，微軟，華爲等大型科技企業都在爭奪這個全新的互聯網入口。分別進行了大量的技術佈局和探索。蘋果創建了數千人的AR研發團隊並開發了ARKit ；谷歌爲安卓平臺開發了ARCore，方便於安卓開發者 對其進行調用與開發；華爲利用麒麟芯片內集成的強大的AI芯片開發了HUAWEI AR Engine系統，實現了運動跟蹤、平面檢測、光照估計、命中檢測、手勢識別、手部骨骼跟蹤、人體姿態識別、人體骨骼跟蹤等重要的AR基礎功能。而且在2019年8月11日華爲開發者大會上推出了Cyberverse（河圖）虛實融合技術，爲其MR技術的進一步發展打下了根基。

XR技術的遵循如下特色：

部分遵循物理規則

MR的最終目標是將虛擬世界和真實世界融爲一體，而非是VR那樣子的假冒世界，因此須要遵循真實世界的部分物理規則，使得人的感知器官可以很好的捕獲附加的光學信息。

光的魔法

MR的核心技術在於如何將虛擬世界的物體，與真實世界的視覺相結合，而MR眼鏡就是就是其中的橋樑，MR眼鏡的光學組件將虛擬的信息疊加於真實的光照信息之上並共同輸入人的眼睛中，讓人類視網膜獲取到的光子中既包含真實世界的光子，也包含虛擬世界的光子，兩者相疊加，構成了全新的視覺世界。

讓世界充滿更多可能

不只僅是遵循真實世界的軌跡，更能夠脫離物理，來塑造一個全新的， 真實與虛幻相結合的世界。咱們不只僅能夠經過MR技術隨時獲取到更多的信息，而且可以與虛擬世界中的元素進行實時交互，而且可以讓虛擬元素融入咱們的平常生活。

XR技術剖析

其實，XR技術也不是什麼新名詞，不少現實場景均可以看到它的影子。如地圖的AR步行導航，SteamVR追蹤器。衆所周知，XR技術是一種融合AR、VR、MR技術的擴展顯示技術，那XR技術是如何融合，又是如何在屏幕面前實現炫酷畫面的呢？

XR場景技術框架包括由LED顯示屏組成的拍攝場地、攝像機、物體位置追蹤與定位技術、實時圖形渲染引擎（AR技術）、高速低延遲的網絡等幾大元素組成，最後將加大元素組合的內容傳輸顯示屏幕前，就成爲炫酷的逼真的XR場景。其總體技術框架以下圖所示。

XR場景的實現，首先將虛擬環境傳輸至現場的LED顯示屏，採用物體位置追蹤與定位技術對物體進行跟蹤拍攝，並將素材傳回至實時圖形渲染引擎。與此同時，視頻服務器則用本地化運行邏輯運算進行人物手勢分析及圖形渲染，輸出立體的逼真的AR內容與拍攝素材交互呈現，而在屏幕前呈現的內容就是XR場景。值得注意的是，在現場還須要強大的網絡支持，爲實現XR低時延交互、全景視頻等內容大帶寬下發等提供強有力的支持。

能夠發現，XR場景就是基於現實場景，與後臺炫酷的AR內容進行結合交互而來的，因此XR技術被譽爲AR、VR、MR技術的融合。

案例

案例1

上面是《只爲夢中與你相遇》的一段場景，首次採用虛擬拍攝方式，把 XR工做流程與影視行業的工做流程相結合並實行最終內容的輸出。短片現場無實景、無綠幕，實時渲染場景，而演員在LED屏幕所構建的空間中進行表演。在場景渲染上，XR擴展示實使用實時渲染引擎搭建拍攝場景，經過媒體服務器輸出合成，運用攝像機追蹤系統定位空間位置信息，實時映射人物與場景的空間關係，實時渲染技術將照片級別的動態數字場景，在LED屏幕上還原，並實時呈現並輸出一個無死角的虛擬場景，最終造成具備XR場景的短片。

案例2

2020年1月10號，我國"奮鬥者"號載人潛水器成功坐底馬裏亞納海溝的重要時刻，中央廣播電視總檯央視新聞頻道、央視新聞新媒體經過xR虛擬演播進行了同步科普講解。用虛擬環境將 LED 屏幕以外的現實環境實時覆蓋，並完成虛擬環境拓展的處理。詳細地說就是，攝影機追蹤系統 Mosys 的運用使得直播中的現場攝像機與虛擬攝像機始終保持一致與同步，並在 XR 虛擬演播室現場使用了1臺 disguise vx4 媒體服務器，做爲虛擬渲染引擎加強渲染和控制，而工做流程將 AR 技術帶入環境之中，經過使用 Black Trax 動態追蹤系統實時瞭解參演者和虛擬影像的位置，從而與 CG 內容更好的互動融合，給觀衆一種身臨其境的體驗，將視覺效果的傳遞提高到一個新的維度，與全國觀衆全景體驗大洋10909米處的至深之藍。

雖然XR技術纔剛剛興起，但目前應用範圍已經逐漸被拓寬，技術也越發成熟。隨着小間距顯示技術的進一步成熟，以及點間距的進一步下探，高清細膩且能夠實現裸眼3D顯示，而且隨着5G網絡的進一步落地，XR技術知名度的持續提高，以及相關人員技術培訓體系的完善等，都將推進XR技術開始走向成熟。