只有5G而沒有視頻壓縮，那麼多媒體傳輸一切都是0

導語 | 2019年9月7日，騰訊技術開放日·5G多媒體專場在騰訊濱海大廈完美落幕。來自騰訊多媒體實驗室的專家們給你們帶來了關於5G技術和標準的精彩分享，揭開了許多關於5G的謎團。本文重點給你們講解5G時代下多媒體標準、多媒體壓縮前沿技術的標準化，以及面向將來的多媒體系統架構。

趙帥博士，騰訊5G&多媒體標準專家。趙帥博士2019年初加入騰訊美國公司，擔任騰訊5G和多媒體標準專家。趙博士得到美國密蘇里大學堪薩斯分校的研究生和博士學位，專一於計算機網絡和多媒體系統標準於傳輸領域，在數多國際期刊都有文章發表，IETF RTP VVC負載格式編輯。

5G下，多媒體爲何要作標準化

在5G下，多媒體產業鏈全景圖跟4G LTE包括以太網差很少。如今社會上有不少一些錯誤的宣傳認識，你們認爲有了5G後能夠無限制地在網上暢遊。但其實，網上暢遊的體驗，不少時候徹底取決於5G運營商給老百姓提供的真實網絡實現。多媒體產業鏈，基本是從有視頻源開始，有了視頻源後就有了視頻壓縮的技術和算法，有算法以後須要標準化。

多媒體的標準化包含兩大塊：多媒體壓縮技術標準化（後文會重點講）、多媒體系統傳輸標準化（包括3GPP和IETF的網絡傳輸協議）。有了標準定義後，直接有標準的產出，面向消費者或者網絡運營商。

爲何要作標準？有如下四點緣由：

一是互聯互通。保證各個廠商在指定多媒體5G標準下，各個設備之間能夠互聯互通。這是作標準最基本的原理。

二是防止壟斷。由於這樣各個公司能夠相互參加，每個公司都會把本身的技術放在裏面，保證技術的共享。

三是保證技術的先進性。好比參加5G國際標準制定時，不但能夠把本身的技術貢獻出去，更重要的是能夠學習別人的技術，保證了咱們技術的先進性。

四是作標準有兩個重要的做用：一是知識產權，實現商業化。有專利後把專利應用在產品上，任何人要買這個產品時就要付專利費。好比如今任何手機制造商產一個手機時都要給高通付錢，這是專利產品的價值。另外是防護性，不少專利產生時目的並非爲了產生商業價值，而是保護本身。做爲騰訊，不少專利的制定並非非得用這個專利賣錢，不少時候是保護措施。咱們有這樣的專利，別的公司就不會經過專利投訴方式來控告咱們，由於咱們有本身的知識產權。

5G下，媒體應用所面臨對挑戰

視頻流量一直是佔領網絡流量的先驅，在5G趨勢下會只增不減思科公司考預測的2017年到2020年全國以IP爲基礎的視頻流量百分比。到2020年視頻流量百分比能夠達到82%。到2020年82%的流量是視頻傳輸，包括視頻會議、小視頻、雲遊戲相似的服務。

而5G下，媒體應用也面臨着多種挑戰。

一是新興媒體格式的出現，包括4K、8K等。另外是新興媒體的體驗，好比沉浸式媒體、VR、加強現實AR、雲遊戲等都須要很強的帶寬和低延時等網絡的需求。好比自動駕駛，須要很高的網絡可靠性。控制的鏈接設備、新興媒體的運營模式，OTT運營好比像YouTube、NetFlix，國內的優酷等。美國NeFflix在高峯期時視頻流量能夠佔全球65%。隨着網絡帶寬愈來愈高，視頻流量會愈來愈高，咱們想要體驗更高的多媒體流量只會愈來愈難。

5G下重要的新興媒體格式：8K

1.爲何說8K是5G下重要的新興媒體格式

如今不少人提到8K，8K對咱們來講到底意味着什麼？——8K意味着全方位視頻體驗的提高，一是分辨率，二是亮度，三是色彩位數，8位或者10位，而後是幀率。

8K分辨率是708x～4320，這比普通高清上升5-6個維度，意味着看到的像素更多，更清晰。

SDR和HDR是圖像亮度的標準。亮度的單位nit。人眼對亮度能夠識別0.01到2萬nit。HDR以前用的是SDR，是100nit，跟人眼能夠看到2萬nit比起來仍是很小的。HDR是SDR的10倍大約是1000nit，圖像更加清晰更加好。8K出現後，HDR可能達到5000或者1萬。但隨着8K不斷推廣，HDR技術不斷提升，人肉眼看圖像亮度時更加亮。

可是，普通視頻是8位表示一個像素，8位是256種顏色；而有了8K後，10位或者12位是一個趨勢，10位是一個像素有1024種顏色，12位更不少了。顏色越多，意味着看的色彩越鮮豔。這對咱們來說，更重要的是這表示每個視頻、像素的份量就很重，最終落實到一個視頻的文件大小，這個文件就會愈來愈大。

網絡看視頻大約在30幀每秒，在1秒裏能夠看30個圖片。人的肉眼對快速移動的圖片是分辨不清的。到8K後會支持到60幀一秒或者120、180。在一段時間內看圖片的幀率會愈來愈多。這樣看到的視頻就會愈來愈平滑。如今看大片，慢動做，那個就是用高幀率拍，好比1秒鐘拍了100個圖片，在5秒鐘內放出來，這就是慢動做釋放的原理。

給你們看一下8視頻文件的大小大。若是一個像素是15個bit（這個是比較保守，最可能該是30bit甚至更大），那麼不通過壓縮的一個120幀每秒的8K的視頻1秒大約是60G。若是按照如壓縮1000:1，壓縮後60M左右。

咱們國家在8K的發展和普及相對落後，日本和韓國跑得相對快。日本將會在2020年用8K直播。中國在2022年冬奧會時也會用4K和8K結合的形式直播，相信那個時候不少8K支持的設備、網絡協議、5G技術都會相對成熟一點。

2 .關於8K標準的制定，不得不提8K工業聯盟

騰訊多媒體實驗室在今年8月份時，成功加入了8K工業聯盟，成爲了董事會一席。這意味着騰訊在8K將來發展時有必定的話語權，能夠參與制定8K的標準，在推進8K在將來5G網絡下起到很是主導的做用。

5G多媒體壓縮技術前沿

若是隻有5G，而沒有視頻壓縮，那對於多媒體來講傳輸一切都是0。因此，這裏我再講一下騰訊多媒體實驗室最重要的技術——視頻壓縮技術。

1.VVC（H266）視頻壓縮標準簡介

簡單講一下視頻壓縮技術的演進：2003年AVC（H264）編碼標準正式發佈。2013年時到了HEVC（H265）。每一次視頻壓縮技術的迭代，都會比上一次主觀上提升50%左右，客觀上提升30%。客觀是經過數學統計，主觀是人眼看，最後綜合下來有40%～50%的提升。

而VVC（H266）是騰訊多媒體實驗室正在積極參與制定的。VVC在HEVC上客觀節省33%，主觀是40%～50%。騰訊多媒體實驗室在很短期內有幾十項專利被研發，而且好幾個位成員都在VVC裏承擔主席席位。

VVC視頻編碼架構跟HEVC基本同樣，但爲何它會提升？在某些算法上通過前十年包括硬件的支持，算法上有優化、提升，在總體視頻壓縮基礎上有客觀上30%的提升和主觀上50%的提升。

整個VVC包括HEVC在處理視頻壓縮時，根據最簡單的視頻播放道理，短期內看不少照片，視頻壓縮分兩個方向：幀內壓縮和幀間壓縮。

幀間壓縮是根據不一樣圖片之間的差異，把這幾個照片放在一塊進行壓縮。HEVC只支持一種方法，VVC支持四種方法。在壓縮時提供更多可能性，更大的提升了壓縮的速率。

幀內壓縮是在一個圖片內找到類似點壓縮。HEVC支持33種方向，但VVC能夠支持65個方向，能夠提升預測和壓縮的準確性。VVC支持更多幀內預測技術好比MRL，支持多條線預測。

處理完幀間和幀內預測後，下一步作數學運算，把所預測的根據數學的離散正弦、離散餘弦。這兩個是壓縮裏比較經常使用的技術。HEVC只支持離散餘弦，VVC支持離散餘弦和離散正弦。把全部像素轉成數字後，作數學運算，最後作無損壓縮。視頻壓縮原理，就是把大數據變成小數據，文件大小就會下降。

2.騰訊多媒體實驗室關於VVC技術落地總結和成果

如今VVC比以前作的HEVC視頻壓縮客觀上33%左右，主觀上50%。咱們在相同感官條件下，視頻文件已經少了一半。

VVC應用的場景不少，對騰訊內部來講有各類社交類，微信，騰訊視頻，雲遊戲等。

截止到2016年6月份，騰訊VVC視頻壓縮技術是全球第三，並且是用了不到兩年時間。

另外還有一個重要的成果，騰訊開發的《王者榮耀》被加入到VVC測試序列，能夠更好的壓縮遊戲，這個意義對騰訊是很是大的。

3.騰訊多媒體實驗室標準落地現狀

在簡單總結了標準制定的成果後，咱們再來看一下騰訊多媒體實驗室標準落地現狀。

這裏重點講一下雲遊戲。雲遊戲跟傳統遊戲最大的不一樣是傳統玩遊戲時要買遊戲而後下載而後安裝，要補丁就要下載補丁。雲遊戲是任何處理都在雲端服務器端，不須要下載，你須要的是註冊一個賬號，能夠用任何設備，好比電腦、手機同時玩這個遊戲。你如今坐在這兒玩，忽然要起來，拿着手機能夠接着玩。這是雲遊戲爲咱們帶來的新的用戶體驗。如今全世界作雲遊戲的公司有谷歌、Microsoft，騰訊是第三個。如今在深圳、上海已經測試。

雲遊戲是視頻壓縮技術很大的應用場景，包括前面說的IETF裏包括QUIC等不少網絡傳輸標準。你的遊戲安裝都在雲端，雲端把遊戲渲染，渲染以後以視頻形式經過網絡傳輸給客戶端，客戶端不須要維護、下載、安裝遊戲，也不須要打補丁，服務器已經幫你處理完，你須要的是像看一個電影同樣玩遊戲，這是很是不同的遊戲用戶體驗。另外，多媒體實驗室研發的TPG圖片壓縮技術，從主觀上分不出區別的前提下文件數量少了十幾倍，這使文件傳輸到雲端會減小不少帶寬。

4.關於解碼標準

前面講了咱們主要作視頻壓縮編碼標準，如今咱們也在作結合標準，把標準作到編碼器裏，就能夠直接產生商業化。咱們不只作編碼也作解碼，解碼就是在客戶端裏播放這個視頻，編碼是把視頻源壓縮。同時，咱們也在維護一些免費的標準，像VP九、AV1，作一些本身的貢獻，促進視頻壓縮生態圈健康發展下去。

面向將來的多媒體系統架構：異構計算

異構計算，就是用不一樣的結構作計算。這個概念並非很新，在上世紀90年代已經有異構計算的概念，但當時硬件支持也並非很好，因此一直沒有發展下去，最近十年人工智能、機器學習、深度學習、自動駕駛這些人工智能產品落地，對不一樣計算的要求提升了一個檔次。再加上摩爾定律，如今芯片製造廠商已經很難很難在短期內把芯片速率提升。

咱們已經見過異構結構，平時玩遊戲裝單獨的CPU，或者CPU和GPU結合就是異構的一種。如今隨着計算要求提升，好比雲遊戲，在雲端須要大量GPU，把遊戲壓縮成視頻再傳輸到客戶端。若是隻是用CPU，根本作不到，如今用GPU包括FPGA，把全部能運算的結構放在一塊兒，讓它們共同運轉。好比CPU更好作的是緩存、處理，GPU能夠作更好的運行處理。把不一樣計算的兆放到不一樣模塊，實現更好的異構結構。多媒體實驗室在這方面有很大的投入，好比跟不少芯片廠商合做，把咱們本身的編解碼技術標準作到他們的芯片裏，來爲騰訊的業務服務。

歡迎關注「雲加社區」公衆號，回覆關鍵詞「5G風起」，更多5G相關內容即將呈現。