【Oculus】虛擬現實音頻處理VR Audio - Part 6【翻譯】

7、VR的混合場景

https://developer.oculus.com/documentation/audiosdk/latest/concepts/audio-intro-mixing/

和聲音設計同樣，爲VR混合一個場景既是藝術又是科學，如下的推薦可能包含警告。

1. 創造性的控制

咱們的最終目標不必定是真實，須要一直記住這一點。和計算機環境中的燈光同樣，什麼須要連續或者正確並非在藝術上有很高的要求。音頻團隊應該注意，不要逼着本身在VR環境中去追求徹底的正確。特別是在考慮動態範圍、衰變曲線以及直接返回時間的時候。

2. 聲源的精確3D位置信息

聲源必須被精確的放在3D的場景中。之前，一個大概的位置信息就足夠，由於能夠經過移動和衰變來定位。一個物體的默認位置多是它的尾部或者是腳和地面接觸的地方，當一個聲音從這些位置發出時，會在空間中顯得很不和諧。

3. 有方向的聲源

Oculus Audio SDK不包含聲源的方向，可是高層級的SDK會使用基於角度的衰變進行建模，來控制方向。這些方向的衰變會在空間化以前就發生。

4. 場景聲音

Oculus Audio SDK不包含場景聲音，例如瀑布、河流、人羣等。

5. 多普勒效應

當聲音接近或遠去時，會產生明顯的多普勒效應。VR能夠經過聲源和聽者之間的相對速度來消除，可是這個過程很容易引入噪聲。

6. 聲音傳輸時間

在現實世界中，聲音的傳輸須要時間，所以在看到和聽到東西之間會有明顯的延遲。

Oculus Audio SDK支持time-of-arrival。

7. 非空間化的聲音

並非全部的聲音都須要被空間化，有許多聲音是靜態的或者與頭部相關的，例如：

• 用戶交互的元素，例如點擊、嗶嗶聲、傳輸或者其餘。

• 背景音樂

• 旁白

• 身體聲音，例如呼吸和心跳

這些聲音應該在編寫程序時被隔離，避免它們在混音時不當心被加入到3D空間化聲音的流水線中。

8. 效果

空間化的效果與設備的性能有關，例如在高配的PC上能夠空間化30多種聲音，可是在移動設備上只能空間化一到兩個。

有些聲音空間化後效果不好，例如低頻的轟隆聲，給出的空間感很弱。這些聲音能夠經過一些移動和衰變來做爲標準的立體聲播放。

9. 氣氛（Ambiance）

傳統的非VR遊戲很難作到聲音的沉浸感。由於PC用戶的話筒質量很低，家庭影院的隔離效果不好。

有了耳機、位置追蹤和徹底的視覺沉浸以後，對用於聲音體驗的音效設計變得更爲重要。

這就意味着：

• 有效空間化的聲源

• 合適的音效範圍，不太密集，也不太稀疏

• 避免用戶疲勞

• 合適的音量，可讓用戶聽得時間比較長

• 空間和環境的效果

10. 延遲

VR音效的延遲與設備有關，最少能夠達到2ms，最多可能達到幾百毫秒。當用戶腦殼的移動速度與聲源速度的差異較大時，系統延遲會比較明顯。若是觀看者移動較慢，且場景相對靜止時，音頻的延遲很難被察覺。

11. 特效

在VR體驗中，特效是很重要的一個環節，像是濾波、賦值、變形和折邊等。例如一個低通的濾波器能夠模擬水下游泳的聲音，由於高頻會比在空氣中失去能量的更快。或者能夠用扭曲來模擬迷失方向。