騰訊雲遊戲多媒體解決方案

時間 2019-11-16

標籤騰訊雲遊多媒體解決方案欄目騰訊简体版

原文原文鏈接

歡迎你們前往騰訊雲+社區，獲取更多騰訊海量技術實踐乾貨哦~算法

本文由雲計算小編發表於雲+社區專欄
《QQ 炫舞手遊》是騰訊遊戲推出的音舞類遊戲。據App Annie 數據顯示，自發布以來《QQ 炫舞手遊》一直保持音舞類遊戲排名第1，深受廣大玩家歡迎。《QQ 炫舞手遊》的一大特點玩法就是遊戲內的K 歌功能，玩家能夠經過休閒大廳建立K 歌房，選擇伴奏進行K 歌。遊戲多媒體引擎GME 的高音質、低延時及強網絡抗性，爲《QQ 炫舞手遊》的音樂聽感和K 歌效果提供了良好的支持。 GME 能夠保證玩家在房間內播放背景音樂的同時，實時語音溝通依然清晰流暢；當有玩家在房間內實時K 歌時，聽衆聽到的K歌效果也能保持極高的音質和極低的延時，提供了良好的線上K 歌體驗。那麼，《QQ 炫舞手遊》背後的音視頻究竟是什麼呢？今天這篇文章將揭開音視頻的神祕面紗。安全

騰訊音視頻實驗室

說到音頻，就不得不說騰訊音視頻實驗室了，騰訊音視頻實驗室，成立於2010年，八年間專一於音視頻通訊技術的前瞻性研究，包括全球實時音視頻網絡優化、音視頻編解碼前沿算法研究、計算機視覺圖像處理、基於AI的音頻語音加強、聲音美化及音視頻質量評測等。在服務於騰訊社交體系下的海量用戶同時，在實時音視頻通訊、圖像處理和音視頻處理等技術領域積累了十幾年的研究經驗，擁有行業領先的技術水平。目前已爲行業數百個產品提供了音視頻技術支持與服務，如QQ電話、騰訊雲、企業微信、QQ空間、全民K歌、快手、鬥魚、虎牙、蘑菇街等。服務器

遊戲實時語音解決方案 GME

遊戲多媒體引擎（Game Multimedia Engine，簡稱：GME）是一個專門針對遊戲場景定製的遊戲多媒體引擎 SDK，支持休閒社交類、競技遊戲類（包括 MMORPG、MOBA、FPS 等類型）、大型國戰等多種遊戲類型，提供了包括多人實時語音、實時視頻、語音消息、語音轉文本等功能。微信

功能介紹

實時語音

麥序模式網絡

用戶輪流語音上麥，音質高流暢性好，適用於語音狼人殺等場景。app

自由通話模式框架

支持多人同時講話，超低延遲，適用於多人組隊開黑等競技遊戲場景。函數

指揮模式學習

針對一對多指揮做戰、主播語音陪玩等場景，適合大型國戰類遊戲。優化

語音消息和語音識別

支持錄製語音消息發送到遊戲各頻道並實時轉換爲文本消息這功能，音質清晰，語音識別準確率高。

產品優點

咱們的優點	爲何選擇騰訊雲遊戲多媒體引擎
遊戲場景定製	針對遊戲場景對音視頻編解碼器進行深度優化，使其在碼率、延時、系統資源消耗等關鍵技術指標達到業界領先
頂級基礎設施	自建萬兆雲機房，配備 20 線 BGP 頂級網絡，800+ 節點讓玩家暢享穩定而極速的體驗
專業網絡接入	複用 QQ 接入部署和調度策略，有效解決弱網絡環境下的連通問題，連通率高達 99.995%
超強服務承載	承載 QQ 服務支撐能力，支持億級用戶在線，億級羣數規模；實時監控，異地容災，智能調度，保證服務安全可靠
超低接入門檻	通用遊戲框架全覆蓋，四行代碼極速接入
功能完善全面	提供遊戲場景經常使用功能：多人語音、實時視頻、語音消息、語音轉文本等多種功能

GME 超低接入門檻

爲方便開發者接入騰訊雲遊戲多媒體引擎產品，這裏向您介紹適用於遊戲多媒體引擎 SDK 的接入指引。

使用 GME 有如下五個步驟：

接入 SDK

接入 SDK 須要使用騰訊雲提供的 appid 及相關權限密鑰。即應用管理列表中的 AppID 及應用設置中的鑑權信息模塊。

接入實時語音時候會使用鑑權信息模塊中的權限密鑰。
接入離線語音時候會使用鑑權信息模塊中的下載的公私鑰。

更多平臺相關配置請參考各平臺工程配置文檔。

GME 應用場景

電子競技

在電子競技類遊戲中，爭鬥局勢瞬息萬變，相同陣營的玩家之間，須要根據戰局實時溝通對敵策略。經過騰訊雲實現的超低時延、流暢優先的實時遊戲語音自由對講，能夠幫助玩家間更好的進行溝通，體會對戰遊戲的樂趣。

國戰遊戲

國戰遊戲中的典型表明爲 MMORPG，此類遊戲中涉及團隊副本、組隊、幫派、國戰指揮等多種玩法，對語音的時延要求也較高，騰訊雲遊戲多媒體引擎針對此類場景，實現實時自動上下麥及超低時延語音通話，高度適配超多人在線的國戰類遊戲玩家語音通話需求。

休閒遊戲

在棋牌、K 歌、音樂等休閒類的遊戲中，語音消息與語音對講也是必不可少的需求，同時，部分休閒類遊戲中，會有美女主播爲玩家播放歌曲，或者經過歌曲伴奏進行 K 歌遊戲。騰訊雲提供的實時音視頻能力保證了好友之間實時聊天溝通，同時提供包括耳返、變聲的趣味化能力，保證最佳的休閒遊戲體驗。

狼人殺

目前，桌遊類遊戲狼人殺已經從傳統的飯局延伸到了互聯網，在狼人殺遊戲中，玩家在開始前熱場寒暄，在進行中按順序發言，在結束後，盤點和回顧，這些環節，都離不開實時語音乃至視頻的交互。騰訊雲遊戲多媒體引擎產品提供畫面清晰度與音質優先的實時音視頻服務，針對狼人殺場景特別定製，知足玩家全部音視頻交互需求。

基於語音的遊戲內創新娛樂玩法

GME 支持基於位置的3D實時語音

2017年一款遊戲《絕地求生：大逃殺》，經過創新的百人大逃殺、勝者吃雞玩法，短期得到了全球玩家的青睞和追捧。除了遊戲玩法自己的創意以外，遊戲對於實時語音玩法也進行了顛覆式創新。遊戲過程當中玩家能夠設置【全體模式】向附近的玩家喊話、挑釁、搭訕，這種語音模式能夠與陌生人進行頗有趣的溝通和互動。社交媒體上已經有不少用戶基於這種語音模式，創做了不少趣味視頻。

而引入3D位置語音以後，玩家在喊話過程當中會暴露本身的方位和位置信息，玩家的聲音也會根據位置變化而實時改變。能夠說，3D音效讓《大逃殺》這種玩家間的溝通和戰鬥體驗更真實，感覺更加沉浸式、更加身臨其境的吃雞玩法。

咱們的3D音效技術，就是利用「頭部關聯傳輸函數」（HRTF 算法），對雙耳之間的時間差別和頻譜差別進行建模，造成有聲源方位感的聲音。同時咱們還經過採樣混響填補HRIR缺失的環境反射聲，從而構建完整的聲場模型。好比在一個小房間裏，不只能夠聽到兩我的之間的對話，還能夠聽到聲音從牆壁中反射的效果，增長沉浸感。

GME 支持遊戲內K歌體驗，提供變聲趣味玩法

《QQ炫舞》手遊由端遊原班人馬打造，產品的核心體驗與端遊版本一致。此外，《QQ炫舞》手遊還推出了彈珠模式、遊戲內實時K歌房等多種首創玩法。然而在創新的同時也帶來了一些音頻技術上的難題：好比K歌時人聲、伴奏與歌詞的對齊，K歌場景下多人同時語音時，如何作到聲音清晰且避免迴音等。

遊戲語音多應用在實時語音、多人會話、發送語音消息等場景，而《QQ炫舞》手遊的實時K歌玩法在音頻處理上的複雜度上遠遠超出了正常範疇。正常狀況下，玩家在K歌過程當中，是聽到伴奏以後再演唱，聲音由麥克風收錄後再輸出。但因爲遊戲場景中系統採集播放模塊存在延時，尤爲是Android系統機型多、採集播放延時大等因素的影響，若是僅按照正常模式來進行合成，會出現明顯的人聲、伴奏和歌詞不對齊的狀況。一旦出現這種狀況，再美妙的天籟歌聲也會變成「車禍現場」，給玩家帶來很是糟糕的遊戲體驗。

這些技術難題對於《QQ炫舞》手游來講，無疑是一項重量級挑戰。騰訊音視頻實驗室提供的遊戲多媒體引擎GME（Game Multimedia Engine）做爲遊戲內K歌玩法和多人實時語音的解決方案，使得《QQ炫舞》手遊呈現出的效果超乎預期：

憑藉語音效果好、接入門檻低的方案特色，GME覆蓋了休閒社交類、MOBA類、MMORPG等多種遊戲類型，提供實時語音、語音消息、語音轉文本等功能。現在，經過針對遊戲類型、遊戲場景的深度優化，GME積累了深厚的技術底蘊，同時經過覆蓋超過400+遊戲產品的技術支持，不斷積累技術經驗，爲玩家打造暢爽的遊戲語音體驗，展現了領先業內的技術實力。

遊戲多媒體引擎 GME產品概述：https://cloud.tencent.com/document/product/607/10835

遊戲多媒體引擎 GME接入指引：https://cloud.tencent.com/document/product/607/10782

遊戲多媒體引擎 GME SDK文檔：https://cloud.tencent.com/document/product/607/15232