3D位置語音，引領吃雞遊戲體驗升級

歡迎你們前往雲加社區，獲取更多騰訊海量技術實踐乾貨哦~

做者：騰訊遊戲雲

導語：在剛剛結束的首屆騰訊用戶開放日上，騰訊音視頻實驗室帶着3D位置音效解決方案，向全部用戶亮相，爲用戶提供360度立體空間的沉浸式聽覺體驗，那麼這項技術如何結合具體的場景提高用戶聽感和體驗呢？這篇文章將會詳細闡述。

基於遊戲開發引擎（例如Unreal、Unity）實現的3D音效在遊戲中的應用已經很是廣泛了，經過遊戲引擎模擬重現空間中聲源方位，例如CS中射擊的槍聲、中彈時的音效、附近敵人輕微的腳步聲，能夠顯著提升遊戲的沉浸感，造就身臨其境的遊戲體驗。

這裏咱們能夠聽一段音視頻實驗室經過3D音效算法處理先後的音頻對比（請帶上耳機收聽）：

處理前：m.v.qq.com/play/play.h…

處理後：m.v.qq.com/play/play.h…

能夠聽到，處理後的音頻攜帶了更多的空間感和方位感信息，經過擴展音樂的延展度，讓聲場更大、聲音位置感更準確、聲音運動軌跡更加生動，提高音樂的臨場感和沉浸感。

然而，3D音效以前並無大規模應用在實時語音溝通領域，這主要是因爲以前重度遊戲中玩法對於語音能力的定位更可能是溝通方式而非創新玩法，使用場景對於實時語音攜帶方位感訴求也不強烈。

2017年一款遊戲《絕地求生：大逃殺》，經過創新的百人大逃殺、勝者吃雞玩法，短期得到了全球玩家的青睞和追捧。除了遊戲玩法自己的創意以外，遊戲對於實時語音玩法也進行了顛覆式創新。遊戲過程當中玩家能夠設置【全體模式】向附近的玩家喊話、挑釁、搭訕，這種語音模式能夠與陌生人進行頗有趣的溝通和互動。社交媒體上已經有不少用戶基於這種語音模式，創做了不少趣味視頻。

而引入3D位置語音以後，玩家在喊話過程當中會暴露本身的方位和位置信息，玩家的聲音也會根據位置變化而實時改變。能夠說，3D音效讓《大逃殺》這種玩家間的溝通和戰鬥體驗更真實，感覺更加沉浸式、更加身臨其境的吃雞玩法。

3D音效除了應用在吃雞遊戲中以外，結合線上棋牌房等多人語音場景也能夠顯著提高用戶體驗。

如今多人會話中幾路聲音混爲單聲道後，聲源將集中於一點。應用3D位置音效，收聽者能夠將不一樣發送方虛擬到空間不一樣的位置上，用戶更容易經過位置信息知道當前是誰在講話。這種技術很是適合應用到固定方位的聊天室中。

例如，3D音效應用到棋牌類遊戲的語音房間時，經過將各個聲音虛擬到桌面相應位置，玩家能夠清楚地感知到其餘玩家的聲音是來自本身左、右仍是正前方，打造線上棋牌房的沉浸式體驗，也讓玩家開語音溝通的意願更增強烈。

如下是咱們模擬玩家方位處理的一段棋牌遊戲中實時語音效果：

m.v.qq.com/play/play.h…

3D音效的另外一個重要應用場景是VR音頻。

VR的一切都是關於臨場感，而逼真的3D音效效果能夠成爲臨場感的點睛之筆。VR設備可以經過頭部運動追蹤物體當然重要，可以聽到攜帶物體位置信息的聲音也一樣重要，逼真的3D音效效果可以給玩家傳遞其餘玩家的位置信息、環境信息，經過視覺和聽覺的相互增強來達到最好的效果。

從方位上，VR中各個聲音能夠虛擬到空間的某個位置上，使用戶感覺聲音來自特定位置；用戶轉頭時，VR中剛纔所虛擬方位的聲音將隨之變化相應的方位，製造出360度立體空間聲音定位的效果，讓玩家更加確信聲源就在現實中。這對於VR類遊戲體驗很是關鍵。目前音視頻實驗室的3D音效相關技術提案已提交到AVS（國家音視頻編解碼技術標準）的VR音頻國家標準中，且在騰訊今年發佈的一款VR 遊戲「hello world」中已上線。

3D音效還可用於高清視頻的音頻處理，用戶只需使用雙聲道耳機，便可在家體驗影院的沉浸式立體聲視聽體驗。

咱們知道，在電影院觀影過程當中爲了打造立體聲效果經常使用5.1聲道，7.1聲道，每一個聲道的聲音經過不一樣位置的音箱播放出來，配合影片，觀衆體驗更加震撼。而當戴耳機來觀看電影時，因爲常規的方法是簡單的將靠左側的全部聲道混在左聲道，靠右側的聲道混在右聲道，中置聲道左右都混，這致使不管5.1仍是7.1全部聲像最終都變成左中右，模糊掉許多細節致使一些聲音的變化體現不真實，例如從左後方運動到左方再到左前。更嚴重的是，假如其餘聲道無聲，只有左前聲道有聲音，就變成了只有左耳機響，這種感覺很很差。

而3D音效可將各聲道虛擬到各個相應音箱的位置，從而使聽覺更像來自空間中的各個音箱。運用3D音效技術，用戶在家用雙聲道耳機便可體驗沉浸式的影院立體聲效果。

如下是咱們在騰訊視頻上截取的音樂原聲並經過3D音效處理後的效果：

m.v.qq.com/play/play.h…

那麼，三維虛擬聽覺是如何實現的呢？要將普通單聲道聲音處理爲沉浸感的音頻須要先了解下面的問題：人耳如何分辨聲音來自何方？ 咱們先看下面的圖：

經過圖中咱們能夠看到，左右耳聽到的聲音前後、左右耳聽到的聲音的大小、左右耳聽到聲音實際頻譜都是有差別的。

咱們的3D音效技術，就是利用「頭部關聯傳輸函數」（HRTF 算法），對雙耳之間的時間差別和頻譜差別進行建模，造成有聲源方位感的聲音。同時咱們還經過採樣混響填補HRIR缺失的環境反射聲，從而構建完整的聲場模型。好比在一個小房間裏，不只能夠聽到兩我的之間的對話，還能夠聽到聲音從牆壁中反射的效果，增長沉浸感。在下一篇關於3D音效技術揭祕的文章中，咱們會披露關於此項技術更多的原理介紹，敬請期待！

3D位置語音解決方案應用到遊戲實時語音溝通中，玩家能夠根據隊友語音「聽聲辨位」，擁有「身臨其境」的沉浸式遊戲體驗。目前3D音效技術已經集成到騰訊音視頻實驗室推出的實時遊戲音視頻TMG（Tencent Mobile Gaming）解決方案中。TMG提供了包括多人實時語音、實時視頻、語音消息、語音轉文本等功能，覆蓋了休閒社交類、MOBA 類、MMORPG 等多種遊戲類型，是一個專門針對遊戲場景定製的實時遊戲音視頻 SDK，且接入門檻極低，一個 SDK 便可知足多樣化的遊戲音視頻訴求。

實時遊戲音視頻（Tencent Mobile Gaming）服務已正式登錄騰訊雲，爲廣大遊戲廠商開發者提供服務，詳細信息可瀏覽：cloud.tencent.com/product/tmg…

想了解更多騰訊雲遊戲行業解決方案和案例，當即報名1月19日騰訊雲GAME-TECH沙龍杭州站，咱們一塊兒探討

直播預定：www.itdks.com/eventlist/d…

相關閱讀

「騰訊雲遊戲開發者技術沙龍」1月19日遊戲加速主題等你來約！
騰訊遊戲雲 Dolphin 上線 開啓遊戲更新 easy 模式
一分鐘配置的「黑科技」，騰訊雲獨家開放雲壓測能力

此文已由做者受權雲加社區發佈，轉載請註明原文出處