vr的延遲和渲染效率優化與Nvidia VRWorks

vr如今正處於風生水起的階段，可是vr的性能一直是大問題，最主要的問題就是響應延遲，玩家改變位置到這一位置的圖像被cpu提交，gpu渲染，同步刷新到頭部顯示設備上，這中間的延遲會致使用戶的頭暈，減小相應的延遲，是vr從硬件到軟件一直在優化的問題。Nvidia針對這個，新推出了VRWorks組件，這是一套軟硬件結合的改善響應延遲以及提升vr渲染效率的方案，從硬件上作了一些改進和加速，同時也提供了一組api，去爲你的vr應用和vr設備提供優化的方案，每當技術存在瓶頸時，硬件的改進永遠是推進性巨大的。在vrwork的優化方案中，有不少很值得學習和研究的地方，也有助於咱們理解vr的性能瓶頸所在，這裏作一下概括。

  vr的性能瓶頸來源

1.vr須要至少同時渲染2 張50fps的圖像，比常規的pc渲染量都要大。

2.vr對輸入延遲性要求很高，由於對輸入超過20ms的延遲都會引發用戶的不適。

VR WORKS的優化

1.vr sli 多顯卡支持

經過增長顯卡，增長渲染性能。

常規的多顯卡渲染是這樣的，

即顯卡0和顯卡1輪流渲染第n幀和第n1幀，可是要求cpu要提交的足夠快，由於cpu仍是要提交兩份drawcall，cpu不能成爲瓶頸，這種方式從繪製n到n繪製出來的延時如圖。

vrworks 作了改進，如圖

，

讓顯卡0和顯卡1負責繪製左右兩眼，而cpu爲兩個顯卡提供如出一轍的drawcall，由於zaivr的兩眼繪製的東西基本是同樣的，除了perspective矩陣不同。而vrworks經過其api，實現了一組draw call 對多個顯卡的廣播，並能夠爲不一樣顯卡設置不一樣的perspective（常量）。這樣cpu一份drawcall對於兩眼，而兩眼的繪製在兩個cpu並行，延遲大大節省。固然這裏還有一些可能能夠優化的，好比不少東西，例如shadow map，基於gpu的一些物理可能不須要在兩個gpu都作一遍，能夠優化一下。

2.Multy Resolution Rendering 多分辨率渲染。

這個在vr領域算是經典的優化了，不少vr設備都作了這個，原理來源於，vr的圖像爲了適應眼鏡的變形要作捲曲（wrap），如圖

咱們須要獲得的是右邊的圖，可是渲染出來的都是左圖，因此通常都是在最後將左圖在圖像上作處理，變成右圖，這樣咱們能夠看到其實左圖在邊緣處不少像素在捲曲後被浪費了，因而人們就像咱們是否是能夠對vr的圖像作不一樣分辨率的渲染，即中心區域用比較高的分辨率，而邊緣位置用較低的分辨率，極限狀況下，將大部分邊緣下降分辨率，能夠減小50%的pixel的渲染，提升一倍的效率。

可是常規的渲染管線，要這樣作，得不償失，由於你要切分這個區域，定義多個不一樣大小的viewport，而後將物體依次渲染到多個viewport上，固然你可能會想到對不一樣的viewport能夠剪裁掉不一樣的物體。

可是nvidia的maxwell架構的芯片，即GTX900以上（也就是爲何作vr要用好的顯卡）支持了一種叫作multi-projection的技術，即在顯卡層面，支持同時運行多個視口和投影，他不一樣於常規管線，他在管線中並行了多個投影，同時渲染到多個viewport，pipeline仍是一次，只是在後面將這些像素繪製到多個viewport，這就是硬件層面的多適口多分辨率。

3.asyncchronous timewarp 異步時間捲曲

timewarp也是vr很經典的優化，在occlus等早已使用，若是沒有timewarp，咱們會感受很大的延時和眩暈。由於就算幀率再高，咱們看到影響的那一剎那，渲染的也是過去某個時刻的圖像，和咱們當時所處的位置是不同的，這種不一致隨着幀渲染耗時的增加而增加，這種timewarp的作法是，在gpu繪製結束，掃描給顯示屏前，將這個圖像作一個圖像空間的位移，以校準咱們當前的位置，也就是說處於p0位置渲染的圖像，在p1位置繪製好給咱們，咱們須要將其校準成p1位置的樣子，這種校準有不少算法，都是在圖像處理上作的平移，這樣咱們會感受到看見的和咱們的位置是同步的。

可是在傳統的渲染中，這些工做是在一個流水線上的，也就是同步的，當某一幀很耗時很卡時，用戶會遲遲收不到當前位置校準的圖片，一直停留在上一幀的圖片，由於gpu卡住了，後面的校準（timewarp）也不能進行，用戶會感受強烈的卡和眩暈。

這裏就提出了一個異步 timewarp的概念，即在gpu上有一個獨立的線程作這個warp，即無論你主線程渲染卡成什麼樣，我這個獨立的線程會按照幀率給你每一個位置的warp，給你最新的基於你位置的圖像，這能解決很卡很卡時咱們依然可以獲得模擬的圖像。可是傳統的gpu不支持這種獨立的線程。nvdia的vrworks加入了這個。他加入了一個high-priority context的概念，容許用戶啓動一個優先級最高的線程最warp，獨立於你的渲染線程。

4. direct mode

傳統的渲染，pc的顯示器會把vr眼鏡做爲顯示器的一個顯示擴展，vr眼鏡和gpu是沒有直接交互的，而vrwroks裏能夠開啓vr headset的直接模式，讓gpui直接將圖像掃描到vr設備。

5.Front Buffer Rendering

在direct mode下容許直接渲染到vr設備的front buffer上，仍是爲了減小延遲，可是直接到front buffer 上的畫面撕裂問題怎麼解決？

這就是nvidia vr works對vr的性能的優化，也許對於vr應用開發是個好的消息，同時從中咱們也能夠一窺vr中的性能瓶頸和解決思路。

最後這是vr works 如今的軟硬件支持狀況：

pc, D3D11 only, windows7 +, Multi resulution rendrering 要gtx 900+（maxwell arc），其餘的那些要GTX 500 +。

nvidia的開發者頁面、

https://developer.nvidia.com/vrworks