儘可能下降視頻碼率又不影響視頻的主觀觀看質量,這是視頻平臺最關心的問題之一,由於下降碼率意味着視頻播放帶寬的降低,節約成本。html
2018年3月,又拍雲自研的「窄帶高清」功能,經過碼率控制優化,讓視頻在主觀質量不受影響的狀況下,高效下降30%視頻碼率。窄帶高清經過視頻內容複雜度算法來肯定視頻應用場景,繼而肯定該場景下最優視頻編碼參數,輔助於碼率控制算法,最終達到視頻碼率控制與帶寬優化這個目的。node
窄帶高清能夠有效提高視頻播放平臺終端用戶視頻打開速度,而且減小視頻分發在帶寬成本的上的消耗。算法
通常來講,視頻轉碼所需的成本比視頻播放帶寬少不少。所以經過視頻轉碼來下降帶寬成本成爲可能,窄帶高清就是創建在這個大前提下的一個功能。經過窄帶高清功能能夠節省30%的視頻碼率,大大下降直播、點播等業務場景下的帶寬成本。ide
△ 左爲源視頻,右爲窄帶高清(詳見視頻演示)測試
實現窄帶高清有兩個優化方向,1.在相同碼率的狀況下提高視頻質量;2.在主觀質量不受損失的狀況下,儘量下降視頻碼率。優化
根據實際業務需求,又拍雲的「窄帶高清」功能採用了第二種思路,即保持視頻質量,下降碼率。動畫
場景劃分編碼
首先咱們須要對視頻進行內容複雜度分析,獲取場景信息,取得視頻空間域的複雜度和時間域的複雜度,而後得到視頻序列最終的複雜度,最終肯定視頻編碼場景。spa
爲何要進行場景劃分呢?rest
下文咱們以場景運動劇烈和平緩的視頻爲例,跟你們解釋一下場景劃分的緣由。
△ 平緩視頻、劇烈視頻的碼率分析(psnr)
從上圖能夠看出,在相同質量下,場景運動緩慢的視頻比場景運動劇烈的視頻,所需碼率少不少,這就是場景劃分的意義所在。
目前咱們對手機拍攝視頻、動畫、商業動做大片、影視劇、在線教育、綜藝節目等視頻場景進行測試,獲取常見場景下視頻內容的編碼複雜度。
另外在高碼率的時候,碼率增長對視頻質量的提高比較少,所以只要找到合適碼率,那麼視頻低碼率下的質量和高碼率下的質量是相差無幾的,這是窄帶高清的理論基石。
碼率控制算法研究
碼率控制算法是視頻編碼器中很是重要的部分,學術上,碼率控制算法分爲兩種:CBR(Constant Bit Rate,恆定碼率)和VBR(Variable Bit Rate,可變碼率)。考慮到業務需求是在主觀質量不變的狀況下,下降視頻文件大小,又拍雲「窄帶高清」功能採用VBR的方式,並作了以下設定提高總體畫質的表現:
通俗的說,把碼率放在該用的地方,不浪費每個比特,實現更低的碼率,更清晰的畫質,更小的文件尺寸。
視頻編碼器優化
如何對視頻編碼器進行優化,又拍雲經過客觀質量評價加主觀質量評價想結合的辦法來制定視頻編碼器優化標準。
視頻質量評價做爲視頻領域熱門的研究方向之一,分紅主觀質量評價和客觀質量評價兩類。
主觀質量評價,即經過人工觀察者直接觀察視頻,在主觀打分,對視頻質量的好壞進行分級,該方法必須嚴格的測試環境實施步驟複雜,並且對觀察者要有必定的專業要求,所以實施起來須要巨大的代價,通常會用在科研機構小規模的算法驗證。
而對海量視頻數據和工業界來講,客觀質量評價是更好的選擇。PSNR(Peak Signal to Noise Ratio,峯值信噪比),是基於數學統計特性的評價方法,基於獨立的像素差值,忽略序列內容對失真可見度的影響,於是會出現和主觀感知的視頻質量的一致性存在差別。可是算法簡單,易於操做,且大規模應用。
針對PSNR的缺點,Zhou Wang等人實現了亮度、對比度和結構失真相互獨立的質量評價方法SSIM,獲得更接近人眼視覺特性的評價指標。可是依然是過於簡單,屏蔽掉了HVS的其餘生理特性。
視頻編碼器的參數數量不少,紛繁複雜,爲了獲得最佳的優化組合,咱們用了客觀質量評價算法PSNR(Peak Signal to Noise Ratio,峯值信噪比)和SSIM(Structural SIMilarity,結構類似度),主觀質量評價算法VMAF(Video Multi-Method Assessment Fusion),再配合人工主觀質量評價的方式,獲取了常見場景下視頻編碼器的參數優化方案。
又拍雲窄帶高清,融合了以上幾種客觀和主觀的評價方法,在編碼器優化過程當中,獲取碼率和視頻質量的平衡。
目前,絕大多數視頻仍是使用H.264/AVC視頻編碼標準,更先進的H.265/HEVC和VP9的普及度還不夠。所以又拍雲「窄帶高清」功能優先支持了H.264視頻編碼格式,將來將支持H.265格式。
學術界還有許多碼率方面的研究成果,好比基於ROI(Region of Interest,感興趣區域)和HVS(Human Visual System,人眼視覺系統)的碼率控制,這些成果和技術,又拍雲也將積極融入到相關產品和解決方案中。
推薦閱讀:
深刻解析 H.265 編碼模式,帶你瞭解 Apple 全面推動 H.265 的緣由