HEVC、AV一、VVC：如何理解2019年的編解碼器世界

 

本文討論了HEVC，AV1和多功能視頻編碼（VVC）的當前狀態，回顧了每種編碼器在最近一年的進展。您將從開發者的角度瞭解每一個編解碼器的最新進展，包括從編碼耗時、成本與編碼質量等方面得出的對比結果，並獲悉編解碼器市場在過去幾年中的發展趨勢以及編碼器的意義與價值。

 

文 / Jan Ozer

整理 / LiveVideoStack

 

咱們關心的是什麼？

 

咱們知道，有史以來最成功的兩個編解碼器是MPEG-2和H.264，但這兩種編解碼器主要是爲廣播市場定製，與流媒體沒有太大關係。編碼器標準對於廣播領域的價值在於能夠從編碼、傳輸、解碼空間等方面將衆多供應商緊緊捆綁在一塊兒。雖然每一個編解碼器都有特許權使用費，但特許權使用費的存在是合理的，並且單一專利池的管理也應該是良好且透明的。

 

而如今，流媒體已經超過了傳統廣播而且很快就會將其取而代之。雖然標準的制訂對於流媒體和廣播來講同樣重要，但標準制定的過程卻有所不一樣。桌面操做系統中的核心技術由衆所周知的兩家公司——蘋果和微軟控制，而蘋果與谷歌也控制着在各自移動操做系統中部署的技術；至於部署在OTT設備中的核心技術則由亞馬遜、蘋果、谷歌和Roku在內的少數公司控制。經過亞馬遜、Hulu、Netflix和YouTube等平臺播放視頻成爲擺在人們起居室內的智能設備必須具有的功能，這些供應商所使用的技術也必須獲得電視機、OTT設備和機頂盒的支持。

 

若是用棒球做爲比喻的話，H.264就像是一場三壘打，在沒有任何失敗出現的狀況下得分；HEVC則更像是一場二壘打，存在一系列自我犯下的失誤。VVC則始於其餘沒有被MPEG承認的編解碼器，標準化可否成功尚不明確。此外，額外壓縮效率的經濟價值正在迅速降低。好久之前，內容分發網絡的每GB流量費用是50美分，所以下降視頻的數據速率意味着真正的碼率節省；而如今，這一價格遠低於每GB一分錢，爲節省碼率而下降視頻數據速率繼而採用額外編解碼器的策略，最終卻致使成本更難以收回。

 

從QoE的角度來看，這一觀點也是正確的。當家庭帶寬平均低於3Mbps而移動設備經過3G鏈接時，使用HEVC或VP9提供1080p視頻與使用H.264提供720p視頻相比具備更多潛在價值。如今，美國的平均家庭帶寬超過14Mbps，而5G的到來更加下降了更高效編解碼器所帶來的最終用戶利益。所以，即便壓縮效率提高一倍，其也未被證實是絕大多數生產商採用新編解碼器的首要條件。

 

一個編解碼器被採用的關鍵在於可以進入新市場而非下降運營成本——賺錢而不是省錢。例如VP9比H.264的壓縮效率高出30％到40％且能與86.39％的移動和桌面瀏覽器兼容。然而，根據Encoding.com給出的報告咱們發現，VP9的使用率從2016年的11％降低到2018年的5％；與此相似的是，儘管78％的Apple移動設備支持HEVC，但Encoding.com報告也指出，2018年只有3％的視頻被打包成HLS——一個基於HEVC的流媒體格式。

 

當Adobe在2007年將H.264集成到Flash中時，彷佛整個網絡視頻市場在幾個月內就會轉而支持新的編解碼器，以致於在12年後的今天，Encoding.com所統計的H.264市場佔有率仍高達82％。所以，雖然編解碼器研究人員老是強調新編解碼器能帶來的微小效率增益，營銷人員也對一次次地兼容新平臺而感到憤怒，但不多有視頻製做商關注那些除去世界上最大的訂閱型視頻點播（SVOD）、廣告型視頻點播（AVOD）或用戶原創內容（UGC）平臺以外的內容。

 

下一個風口將是可以在足夠多平臺上可用的編解碼器，容許發佈者編碼爲單一格式並最終使H.264退出歷史舞臺。在流媒體媒體報道的NAB Show採訪中，Twitch的沈悅時教授表示他的公司但願到2024年可以用AV1作到這一點。

 

咱們能夠從上述內容中得出什麼結論？「支持基於特定標準的編解碼器」這一在過去看上去頗爲成功的商業模式放到如今已經再也不重要，大多數流媒體制做商都經過採用針對新市場兼容性更好的編解碼器而不是一味下降運營支出來提升營收。「隨時隨地觀看「將成爲新編碼器取代H.264編解碼器的最重要因素。在這一點上，不管哪一個編解碼器取代H.264都有可能帶來版稅問題，而哪個編解碼器的版稅政策最實惠合理將直接決定將來哪一款編解碼器將成爲這場戰役的優勝者。

 

接下來，咱們來看看HEVC、AV1和VVC在過去一年左右的發展狀況。

 

HEVC

 

HEVC於2013年1月26日正式成爲國際標準。六年後，HEVC在咱們所使用的全部瀏覽器中佔16.57％（圖1）。相比之下，H.264得到了96.96％的瀏覽器支持，而VP9的支持率爲86.39％。若是您必須選擇一個案例來顯示災難性的特許權使用費政策所帶來的壞處，那就是HEVC。

 

圖1.截至2019年5月28日，HEVC在瀏覽器中的覆蓋率

 

ScientiaMobile於2018年8月23日統計了硬件加速HEVC解碼在移動端的支持狀況，iOS設備爲78％，Android爲57％（圖2）而且從那時起明顯增長了。然而，雖然Apple已經在iOS Safari瀏覽器中提供HEVC播放並簡化了全部流媒體制做者的訪問流程，但仍然沒有Android平臺的瀏覽器支持HEVC播放（圖1），這意味着Android上的HEVC播放主要是經過應用程序來支持。這就致使HEVC一般適用於那些經過應用來部署的頂級OGC和高級內容站點，但卻不適用經過瀏覽器提供服務的站點。

 

圖2.移動平臺支持硬件加速的HEVC播放*

 

若是咱們討論HEVC的使用率，在Bitmovin的「2018年視頻開發者報告」所統計的456名受訪者中，有42％的受訪者表示他們使用HEVC編解碼器部署視頻，但這一數字並不表示實際以該格式部署視頻的佔比。在詳細介紹2018年行業產品結果的「2019年全球媒體格式報告」中，Encoding.com表示，2018年生產的全部視頻中有12％是以HEVC爲編解碼標準，同時Encoding.com也提出了一些樂觀的預測：「2017年，大部分HEVC主要用於測試和開發；然而在2018年，咱們相信HEVC已被推廣到視頻製做的許多工做流程，而且咱們預計2019年，在UHD HDR內容越發普及的推進下，HEVC的市場佔有率將大幅增長，由於知足HDR、 Dolby Vision和HDR +標準的優質視頻內容須要基於HEVC纔能有效實現。

 

如前所述，Encoding.com補充到，2018年HEVC標準在基於HLS傳輸的視頻中的佔比爲3％。全部這些都符合上述敘述：製做人正在部署HEVC覺得新設備提供更加出色的格式，但這樣作並不會帶來明顯的帶寬節省或運營支出減小。

 

編碼和轉碼

 

在編碼方面，HEVC受益於英特爾可擴展視頻技術（SVT）-HEVC編解碼器的加入，SVT-HEVC爲基於英特爾至強可擴展處理器和英特爾至強D處理器架構的編碼系統運行的軟件編碼帶來了十分顯著的性能提高。我將在本文的AV1部分更多地討論英特爾的SVT技術。

 

去年，基於硬件的HEVC轉碼的可用性也有所增長，硬件HEVC轉碼實現了對實時媒體流進行更高密度的雲轉碼。在2019 NAB展會上，咱們看到了來自NGCodec的基於FPGA的解決方案以及來自NETINT和SoftIron  的基於SoC的解決方案。

 

知識產權

 

在過去的12個月裏，三個HEVC專利池與自主知識產權（IP）全部者的HEVC特許權使用費政策幾乎沒有變化。這可能與最大的持有量與內容版稅有關，其中的兩個池——MPEG LA和HEVC Advance表示他們不會收取任何費用，MPEG LA以及HEVC Advance主要經過非物理媒體（如流媒體）傳送必要數據。

 

在撰寫本文時也就是HEVC比特流成爲標準後的6年4個月零4天，Velos Media仍在網站上指出：「由於它與內容有關，咱們將花時間充分了解生態系統的動態和確保咱們的模型最好地支持HEVC技術的發展和使用。「有人可能會建議公司僱用一兩個MBA來解決這個問題。或者用Bob Dylan的話來講：「你可能不須要MBA來判斷下一個風口。」正如我在博客上的文章「HEVC知識產權全部者正在殺死金冠王」中所表述的那樣，你所要作的只是參加Streaming Media East的幾場會議而且聽到多家出版商因內容版稅的不肯定性而宣誓離開HEVC陣營。

 

也就是說，因爲專利監督組織 「 UnifiedPatents」已對超過30％的Velos Media已知專利提出質疑(https://www.unifiedpatents.com/insights/2019/5/20/velos-media-patent-likely-unpatentable) ，Velos Media可能正忙於澄清其在內容版稅方面的地位，而與Velos Media已知專利的約5.5％相關的一項挑戰，彷佛已經越過了最初的障礙——具體來講，2019年5月16日美國專利商標局的專利審判和上訴委員會發現，[Unified Patents] 「顯示出它未在專利性方面佔上風的合理可能性」並容許其被試用。

 

因爲它與HEVC知識產權政策和特許權使用費有關，所以能夠想到「正常狀況，全部犯規（SNAFU）」這一俚語。這就是2015年第二個專利池（HEVC Advance）推出以及開放媒體聯盟（AOMedia）成立時的方式 - 也就是今天的樣子。

 

AV1

 

固然，AV1是AOMedia的開源編解碼器。它於2018年推出，過去12個月在編碼時間和解碼效率方面都有所改進，但咱們沒有看到編碼效率的革命性變化。固然，重要的消息是有一個聲稱是AV1部署版稅的專利池被推出，因此讓咱們從那裏開始吧。

 

2019年3月27日，總部位於盧森堡的Sisvel公佈了兩個新的專利池，提供與VP9和AV1規格相關的專利許可。這些專利池僅適用於消費類顯示設備如智能手機、電腦和電視以及非消費者顯示設備如機頂盒、加密狗和顯卡。VP9的標準費率爲顯示設備0.24歐元，非顯示設備0.08歐元，而AV1標準費率分別爲0.32歐元和0.11歐元。

 

這些池表明了來自JVC、KENWOOD Corp.、Koninklijke、Philips、NipponTelegraph and Telephone Corp、Orange和Toshiba IPR Solutions的專利許可。根據Sisvel首席執行官的問答，Sisvel池不會對內容收費，但也沒有排除基於軟件播放的專利受權費用。（做者注：詳見流媒體學習中心，做者正在爲Sisvel提供一些編輯諮詢服務。）

 

當AOMedia宣佈發佈AV1時，它還宣佈爲任何與專利相關的訴訟提供法律辯護基金，Sisvel專利池的出現並不使人感到驚訝——沒有人起訴任何人，因此辯護基金並無發揮實際做用。此專利池的下一個主要發展將是Sisvel提交專利名單，該名單應該在2019年夏末或初秋被提交。一旦提交名單，其餘知識產權專業人士能夠開始審查專利的真實性以及它們是否適用於AVI和VP9。在那以前，Sisvel宣佈的該專利池的惟一真正效果是全部潛在用戶都注意到AV1可能不是免版稅的。

 

AV1瀏覽器支持

 

因爲Google和Mozilla都是AOMedia成員，所以Chrome和Firefox可支持AV1播放並非一件奇怪的事。加上Opera全系列瀏覽器對AV1的支持，AV1如今佔全部瀏覽器的35.28％。也就是說，在3月份谷歌宣佈在Android Q（現已推出測試版）中「引入了對開源視頻編解碼器AV1的支持，並容許媒體提供商基於更少的帶寬將高質量的視頻內容以流媒體的方式傳輸到Android設備。「這彷佛代表Android Q對AV1的支持將僅限於視頻內容的播放而非視頻錄製。

 

圖3.截至2019年5月，AV1在Chrome，Firefox和Opera中播放，佔全部瀏覽器的35.28％

 

在2018年11月，微軟發佈了betaAV1視頻擴展，容許Windows10設備播放AV1。沒有任何跡象代表微軟什麼時候將其添加到Windows 10更新當中以對此特性進行更普遍的分發，也許是當AOMedia成員Apple將AV1添加到其計算機或設備當中時。

 

AV1編碼/解碼的硬件支持計劃直到2020年中期，而基於AV1的比特流標準大約在2年後纔出現而且這一標準彷佛正在按計劃演進。請注意，基於瀏覽器的流媒體播放的發展已被證實比許多專家所預測更加迅猛，這預示着AV1採用基於瀏覽器的播放將達到更好的播放效果。2018年10月在StreamingMedia.com的報道當中，在運行於配備2.8GHz Intel Xeon E3-1505M v5 CPU的HP ZBook筆記本電腦的Chrome上，播放youTube平臺中使用AV1編碼的1080p視頻消耗了大約20％的CPU。幾天後，我在個人博客上報道，使用同一個筆記本上的Firefox播放相同的視頻消耗了大約10％到15％的CPU資源（圖4）。

 

圖4.由2.8 GHz Intel Xeon E3-1505M v5 CPU提供算力的HP ZBook上播放AV1視頻

 

在2019年5月23日，Mozilla宣佈將dav1d解碼器集成到Firefox中，這應該進一步下降此過程所須要的CPU資源。Mozilla的報告中還稱，使用Firefox Beta播放的視頻中有11.8％使用了AV1，高於3月份的3％和2月份的0.85％。大部分流量可能來自YouTube，後者發佈了AV1播放列表。此外，Google軟件工程師StevenRobertson在2018年的Demuxed上承諾，YouTube將在2018年10月底以前實現每秒傳輸1TB的AV1編碼視頻；Netflix還在2018年9月發佈了一些AV1編碼視頻供公衆使用。

 

然而，正如咱們在2018年報道的那樣，Netflix將其1080p視頻編碼爲6.7Mbps，而YouTube則爲5.1Mbps，所以兩家公司都沒有推進畫面質量的進一步提高。雖然Facebook聲稱AV1與x264相比節省了51％而與VP9相比節省了32.5％，但該公司還沒有公開表示它正在公開發布AV1編碼的視頻。此時，在基於AV1的比特流標準確立一年以後，咱們不知道是否有任何公司實現了Facebook聲稱的比特率節省。

 

咱們知道編碼時間已經急劇降低。當StreamingMedia.com在2018年8月首次關注AV1編碼時，編碼時間比實時長45,216倍。在2019年3月的測試中，這比實時時間縮短了147倍。在2019年NAB展會以前，英特爾和Netflix宣佈推出SVT-AV1，他們聲稱在英特爾Xeon可擴展處理器和Intel Xeon D處理器上運行可以實現4K / 60p 10位實時編碼。（圖5）。

 

圖5.據報道，SVT-AV1可以在某些Intel CPU上進行4K / 60p 10位實時編碼

 

什麼是質量打擊？關於這一點咱們還不得而知，但AOMedia發佈的SVT-AV1和AV1版本之間的質量差別應該會隨着時間的推移而減小，這就是現狀。

 

根據BBC的說法，AV1是以谷歌的VP9規範爲基礎構建的。爲此，各類AOMedia成員提出了不一樣的「工具」以將AV1包含在編解碼器中。至少在開始時，必須使用正確的工具把螺栓成功固定到編解碼器架構中，而不是簡單的集成以得到最大的編碼效率。這就是爲何AV1的編碼時間在編解碼器開發過程當中出現飆升現象的緣由。

 

英特爾的SVT旨在實現「將編碼器內核拆分爲獨立運行的線程」每一個線程處理輸入圖像的不一樣段，它們在不一樣的處理器內核上並行運行同時不會形成任何保真度損失。這加快了像Intel Xeons這樣的多核CPU的編碼速度。可是將AV1移植到SVT架構始於該核心功能，並可實現隨着時間的推移添加不一樣的工具。所以，任何SVT編解碼器的版本都不會達到與同一編解碼器的穩定版本相同的質量，但隨着時間的推移，兩者的差距會逐漸縮小甚至消失。

 

所以，在過去的12個月中，AV1展現了編碼和播放效率以及大量的瀏覽器支持成果，同時也展現了版權費用的將來發展。

 

VVC

 

VVC是由MPEG和ITU共同開發的下一代（在HEVC以後）標準化編解碼器。質量目標是在維持相同畫質不變的前提下比HEVC下降30％的比特率。儘管該編解碼器計劃在2020年末以前正式商用，但如今與其相關的一系列質量對比已經展開。

 

BBC所展現的對比結果如如圖6所示，其中JEM表明VVC聯合探索模型，HM表明參考HEVC模型。如2018年國際廣播公約所發佈的題爲「MPEG和AOMedia中最近的視頻編碼發展概述 」的論文所述。該研究包括客觀和主觀測試。

 

圖6.BBC發現HEVC（HM）和AV1的碼率大體相同，VVC（JEM）明顯優於二者

 

在高清分辨率下，BBC發現AV1的效率僅比HEVC高7％，VVC比HEVC效率高33％。在UltraHD分辨率下，AV1僅比HEVC好2％，而VVC則高出27％。對於那些關心壓縮效率的人來講，BBC既是AOMedia的成員，又是MPEG LA HEVC專利池的許可成員。

 

在將這些調查結果與Facebook進行比較時，（請注意BBC在這裏使用參考編碼器進行VVC和HEVC測試，這些編碼器中的每個組件都會被調動），咱們發現此編碼時間對於商業用途而言仍是太長。此外，BBC所使用的是標準測試片斷以強調不一樣測試之間的可比性；實質上，沒有人會將用於測試編碼器的標準測試片斷用於商業生產領域的編碼，沒有消費者會看到這些剪輯。相比之下，Facebook的測試則是使用實際商業生產當中的編碼器分析了其平臺上最受歡迎的100個測試片斷，這兩個測試徹底不一樣。

 

在許可方面，能夠假設VVC的貢獻者包括HEVC和H.264池中的許多相同公司。爲了幫助避免HEVC遇到的問題，一些公司組成了媒體編碼行業論壇（MC-IF）。正如新聞稿中所述，「MC-IF最初將專一於創建VVC和相關標準並將其打形成廣受歡迎和普遍使用的標準以造福消費者和行業。」一個關鍵目標是「爲論壇提供交流平臺，並鼓勵其討論與促進目標實現和與部署使用這些標準下的知識產權許可相關的問題。「雖然值得稱讚，但MC-IF並不是執法機構，所以該組織的影響仍有待觀察。

 

由專利代理人決定的將來？

 

在很大程度上，編解碼器的將來將由AV1的免版稅狀態決定，AOMedia能夠經過證實成員公司真正經過AV1或經過根據須要進行許可技術的革新來確保其安全。請記住，谷歌在2013年使用後一種策略 ——中止由MPEGLA組建VP8專利池。或者也許AOMedia能夠得到對AV1 知識產權的足夠控制，以便實現公平合理的AV1版稅分發。

 

若是不是這樣，極可能許多與H.26四、HEVC和VVC相同的知識產權擁有者擁有AV1使用的技術。這代表了一個真正的反烏托邦將來，其中知識產權的全部者試圖在AV一、VVC和將來的編解碼器上強加相似HEVC的業務術語。他們已經吸收了教訓，可是在HEVC發佈後的6年4個月零4天，他們彷佛並無。