詳解虎牙AI超分技術：「無中生有」打造S9直播4K畫質

4K高清圖像，超過每秒24幀的高速攝影......這些實現人類極致觀看體驗的最新技術，若是應用到直播領域，會有怎樣的效果呢？

近日，虎牙直播宣佈，推出「4K+60幀+20M」超分超高清三件套，成爲S9全球獨家4K直播平臺。據悉，虎牙技術團隊藉助超分技術，實現了S9賽事視頻由1080P到4K的提高，同時畫面額外延時僅僅增長100毫秒。遊戲玩家和業內人士廣泛認爲，虎牙引領的這一次技術飛躍，無疑將開啓遊戲直播的一場「革命」。

「感受看直播就跟真正進入玩遊戲的畫質同樣」

據介紹，虎牙依託強大的AI 超分辨處理能力和視頻編碼優化, 將S9賽事視頻由自己的1080P分辨率著提高到4K分辨率;同時經過高可靠、低延時的全球化分發網絡，將20M 的超高碼率碼流傳輸給用戶，完成了從1080P到4K分辨率、60幀、20M實時視頻轉碼直播。

虎牙音視頻網絡技術部算法負責人表示，推出此項技術，是由於發現目前用戶能夠獲取的4K視頻源是很不足的，在直播行業更是如此。而對於S9這種頂級賽事來講，若是可以提供超高清畫質，無疑是知足了用戶最迫切的需求。

針對這一痛點，虎牙直播利用超分技術，將S9賽事視頻的分辨率由1080P提高到4K，顯著提高畫質。畫質的提高也獲得了用戶的確定，有用戶在虎牙4K直播間彈幕表示，「用手機2K屏幕觀看S9的4K直播頻道的時候甚至會有種‘錯覺’，感受看直播就跟真正進入玩遊戲的畫質同樣。「

據瞭解，主流超分辨率技術能夠分爲傳統重建技術和神經網絡技術。此前流行的傳統重建技術用濾波的方式從新恢復圖像信息，但由於高頻信號在最初圖像採集中丟失，重建後的高分辨率圖像會出現不天然的光滑紋理，影像畫質體驗。而2016年以來興起的基於學習的神經網絡技術，是讓機器模擬大腦的神經元網絡，學習不一樣分辨率的圖像的像素映射關係，利用多層卷積網絡算法，將低分辨率圖像重建爲高分辨率圖像。

而虎牙創造性地利用最新的AI深度學習模式，經過海量對比運算，不斷調試和糾正重建畫面時的誤差問題，並經過人工智能提升計算能力，最終使虎牙的超分辨率算法成功實現了圖像高清還原和加強。不管是在細節、色彩、明暗仍是銳度方面，均可以最大限度接近人類視覺的天然感覺。

「4K超分高清畫面額外延時僅增長100毫秒」

讓遊戲愛好者獲得大片通常的直播觀看體驗，不能只靠理論架構的藍圖，還有有踏實的技術完善之路。

據虎牙音視頻網絡技術部算法負責人介紹，立項之初，他們就面臨着兩大挑戰：一個是技術層面的，即如何優化AI超分模型以及計算推理能力，使其不只實現畫質的大幅提升，而且運行速率能夠知足4K、60FPS的實時處理;另外一個就是架構層面的，即虎牙音視頻分發體系如何快速應對這種傳輸鏈路的更改以及處理節點調度，保證其直播內容依然是低延時、穩定流暢地呈現到全球觀衆面前。

衆所周知，實時處理是直播業務的准入門檻之一。而虎牙通過多年來技術積累，在實時處理上已經積累了豐富的成果。這次的4K超分辨率處理，也須要每秒完成60幀的高分辨率圖像重建同時進行視頻編碼。而這個過程，是在虎牙的GPU轉碼集羣內處理，視頻數據再經由已有的虎牙傳輸分發平臺，分發到世界各地。

延時處理也是虎牙本次的重大突破。採用流媒體方式播放的網絡視頻都須要通過編碼——壓縮——解碼這一過程，讓視頻能以較小的數據量在網絡中傳輸，從而在有限的帶寬中保持傳輸效率，確保終端能夠流暢、穩定地接收和播出。這一過程當中存在的延時問題，是影響觀看體驗的重要因素。

「爲解決延時問題，咱們從算法到整體通信架構都作了大量的技術工做。咱們知道，端到端延時的優化實際上是一個全鏈路的優化的集合，所以咱們在模型調優、異構計算和硬件升級上都作了全方位的優化處理。在咱們技術團隊的努力下，4K超分高清畫面帶來的額外節點延時僅增長了100ms。」虎牙音視頻網絡技術部算法負責人介紹。

「項目從立項到上線歷時不到1個月時間」

儘管有重重技術障礙，但虎牙4K項目從提出概念、立項，到平臺上線服務用戶，先後只用了不到一個月的時間。這不只是由於虎牙擁有強大的研發團隊，也得益於虎牙在前沿技術領域的長期跟進和積累。

客觀而言，直播畫質是個綜合性問題，會受原圖質量，計算能力，編碼參數，用戶帶寬等因素影響。超分技術能夠提升原圖質量，但也要配合其餘技術綜合一塊兒，才能夠達到最優效果。如本次的4K高清，除使用AI進行視頻圖像處理外，虎牙還應用了大型音視頻直播分發系統，對視頻實時加工的處理支撐技術等。

從AI智能彈幕，到本次推出的4K超分超高清S9視頻，虎牙在AI技術領域不斷突破。近期，在韓國舉辦的2019年國際計算機視覺大會(簡稱ICCV)上，虎牙此前提交的兩篇論文成功入圍，並在大會上展出了虎牙的基礎技術，引發現場專家同行的承認和好評。

而虎牙本次經過超分技術實現賽事視頻的畫質提高，其意義毫不會只停留在賽事轉播上。據專家預測，到2021年，多媒體視頻圖像流量將佔據整個互聯網流量的80%。如此龐大的視頻傳播和觀看需求，必然帶來相關技術的井噴式發展，也極可能成爲下一個互聯網技術「風口」。

更重要的是，隨着5G和物聯網逐漸從設想走向現實，虎牙直播的超分技術及實時視頻轉碼技術，與物聯網的高準確率、低延時要求正好相符。隨着該技術的進一步優化，將來在遊戲直播、戶外直播，甚至其餘生活領域，將產生更多的應用場景。