4G 帶來了音視頻 APP 的爆發,各路音視頻業務爲主的公司百花齊放,音視頻技術不管在廣度仍是深度上都蓬勃發展,迎來了質的飛躍。而5G 高帶寬,低延遲的特性,更是爲音視頻技術帶來無限可能。
網易雲信多媒體資深技術架構師吳桐受邀參加 2019 QCon 全球軟件開發大會上海站,發表了題爲《超高清4K視頻低延時直播與RTC融合架構設計》的精彩分享。
本文整理自吳桐的分享內容,由於乾貨過多,本篇演講實錄將分爲3篇主題文章發佈。分別爲:
-
超高清4K視頻低延時直播與RTC融合架構設計①:5G與將來的網絡格局
-
超高清4K視頻低延時直播與RTC融合架構設計②:直播與RTC低延時方案
-
超高清4K視頻低延時直播與RTC融合架構設計③:直播與RTC融合架構設計
如下是第一篇分享,網易雲信多媒體資深技術架構師吳桐從5G的背景、特色提及,與你們探討了邊緣計算、IPv6等熱門話題,同時分享了超高清編碼器的選擇方向。
5G與將來的網絡格局
2019年是5G蓬勃發展的元年。今年6月,工信部爲運營商頒發了5G牌照;9月,國民驕傲華爲發佈了首款真5G手機Mate 30,首次將處理器和5G基帶集於一體;同時,你們也看到了特朗普政府對華爲5G的種種刁難。全部這些都預示着,5G時代真的要來了。
那麼,5G爲音視頻技術帶來了哪些變化?咱們先看看5G的三大特徵。
-
超高的移動帶寬,大流量。這個特徵是你們最容易感覺到的變化,上下行帶寬變大了。回看這幾年,咱們從2.5G->3G->4G->5G一路走來,視頻清晰度也從低清->標清->高清->超高清,到1080p,2k,4k。隨着帶寬不斷變大,你們對於視頻的清晰度的要求只會愈來愈高。在下文的超高清編碼部分,會與你們進一步分享這個話題。
-
超低延遲、超高可靠。5G雖然爲你們提供了超低延遲的基礎,但想要真正實現直播和RTC的低延遲,咱們還有不少工做要作,這也是咱們接下來兩篇文章的重點。
-
海量鏈接。將來的鏈接是海量的,之前你們使用PC電腦上網,後來,你們使用手機,如今已經有愈來愈多的智能設備能夠鏈接上網,好比智能音箱、智能電視等。能夠預見,愈來愈多的iOT設備將會擁有音視頻能力,這是機遇也是挑戰,咱們須要在音視頻服務器架構上作好海量設備接入的準備,這部份內容在接下來的兩篇文章中也會涉及。
聊完三大特徵,咱們也基本把分享的大體內容圈定。而5G網絡的這三個特徵的在具體場景的落地實現還和5G的另外一個核心能力緊密相關,那就是邊緣計算。接下來,咱們來聊聊5G的另外一個熱點話題:5G與邊緣計算。
5G與邊緣計算
MEC不是一個新概念,早期它是Mobile Edge Computing移動邊緣計算的簡稱,後來歐洲電信標準協會(ETSI)又擴展爲Multi-Access Edge Computing,也就是多接入邊緣計算。其實二者本質上沒有區別,都是將互聯網雲端的計算能力下沉到移動網絡的邊緣,只是後者進一步延伸了這個邊緣所在的位置。
-
由於離用戶更近了,因此用戶感覺到的傳輸延時更小;
-
網絡擁塞被顯著控制;
-
由於能力下沉,因此運營商能夠開放更多的網絡信息和擁塞控制功能給開發者。
爲了優化音視頻場景下的用戶體驗,網易雲信也在邊緣計算領域進行積極地探索。今年,網易雲信與運營商開展了MEC邊緣計算能力合做,實踐5G網絡下在視頻通話場景的體驗優化。
上文5G三大特徵裏提到海量鏈接,接下來我想和你們分享一下與之相關、但你們可能會忽視的一個小話題。那就是:5G與IPv6。
5G與IPv6
IPv6想來你們必定不會陌生,咱們在本科的計算機網絡課程中早已學習了相關背景知識,也早就知道了IPv4的侷限。
-
全球的IPv4早在2011年2月已經分完了,咱們如今主要靠運營商NAT分配私網地址;
-
全球的IPv6普及率突破30%,中國部署率大概爲5%,這個數據可能不許確,可是就我我的使用體驗而言,我確實沒有感覺到IPv6的普及。
而將來物聯網及海量5G設備時代確定是IPv6的天下。在5G時代背景下,IPv4+NAT的侷限性愈發明顯,如今工信部等國家相關機關,已經開始不斷強調IPv6的重要性,網易也響應國家號召,要求集團內部的主要部門必需要加快實施。雲信做爲網易集團內IM和音視頻能力底層提供方,天然屬於第一批實施IPv6之列。網易雲信當前已經完成了大部分IM和音視頻相關服務器與客戶端程序的IPv6兼容工做,其實這部分從技術實現上難度並不大;其次要作好機房路由器和交換機的相關IPv6部署改造工做。但願你們要重視IPv6的相關改造工做,在5G時代全面到來前,都能快速平穩過分到IPv6下。
超高清編碼
咱們先看一組數據,在思科發佈的將來網絡預測白皮書中顯示,網絡視頻的流量佔比在2022年將高達82%,其中4K視頻流量將佔全部視頻流量的62%,而4K視頻的碼率也將達到18Mbps。
咱們對於清晰度的需求愈來愈高,所以在項目中如何選擇合適的編碼尤其重要。這幾年,咱們最經常使用的視頻編碼是H.26四、VP8,但它們的壓縮率已經沒法知足超高分辨率。那麼在超高分辨率下,咱們還有什麼能夠選擇?如今流行的編碼有:HEVC(H.265)、VP九、AV一、以及下一代視頻編碼標準VVC。
選擇編碼器,咱們最主要考察它的兩個方面:編碼質量和速度。這裏提供幾個編碼器數據,以供參考。這份數據由莫斯科國立大學在2019年4月份公開。質量方面:AV1 > VP9 / x265 > x264;速度方面:x264 > VP9 / x265 > AV1;其中VP9與x265的質量和速度都很接近。
依照上面的數據,咱們能夠獲得一個超高清編碼器的選擇建議:
-
在Web端,也就是有WebRTC參與的場景下,優先選擇VP9;
-
對於iOS和Android的旗艦機型,優先使用H.265的硬件編碼;
-
服務器上可使用H.265的硬件加速,其中NVIDIA、Intel和Linux等不少芯片硬件和FPGA公司都提供相關解決方案;
-
AV1的視頻壓縮質量很高,且AV1具有開放的特性,所以它是一個很是具備前景的編碼器,咱們當前對它保持重點關注,而對於VVC,在它2020年標準化後,咱們也會保持關注。
以上就是吳桐《超高清4K視頻低延時直播與RTC融合架構設計》系列分享的第一篇文章,更多幹貨內容敬請期待。
想和吳桐老師面對面聊聊5G將會如何影響和改變即時通信與音視頻技術發展?
當即報名,走進《5G萬物智聯下的互聯網通訊雲技術》沙龍。