解密七牛雲銳智轉碼技術：打造低成本、超高清的解決方案

互聯網的迅速發展，提升了用戶獲取多樣化信息的能力，根據《 2019 中國網絡視聽發展研究報告》顯示：截至 2018 年末，我國網絡視頻用戶規模達 7.25 億，佔整體網民的 87.5% 。視頻已成爲觸達用戶的主流媒介，網絡視頻行業的壯大已成爲必然。如何在最小的帶寬消耗下，最大幅度提高用戶觀看體驗，成爲了視頻應用商首要考慮的問題。

七牛雲深耕互聯網行業 8 年，針對網絡視頻行業推出了銳智高清轉碼服務，融合感知編碼、深度學習、圖像處理、畫質加強等技術，爲點播、直播提供更智能的轉碼服務，也能夠爲存量視頻作二次瘦身。

• 在體驗方面，可以在低帶寬條件下爲用戶提供高質量的視覺效果，畫面更細膩、更美觀。
• 在成本方面，能夠節省超過 40% 的視頻碼率，極大下降客戶的傳輸帶寬和視頻存儲成本。

關鍵技術解密🔽

**智能場景分類 ** 不一樣場景能夠適配更佳的算法提高壓縮和畫質效果。針對視頻場景和複雜度進行兩層分類，場景上包含：影視、教育、交通、體育、秀場等 10 多個類型；在部分場景上，會進一步作複雜度的分級。經過深度學習大量訓練，目前CNN網絡模型的準確度達到 95% 以上。

場景分類爲自適應算法策略奠基基礎，對於不一樣場景，適配的算法類別包括：

1. 編碼壓縮算法和工具的組合
2. 前處理算法類別和參數
3. ROI 感興趣區域的算法
4. 客觀質量評價工具 VMAF 的較準
5. Per-Title 參數的選取

銳智高清的智能自適應目標是在不一樣場景下匹配最優的算法，追求最佳的收益效果。以在線教育場景爲例，屏幕錄製爲視頻主要內容，針對屏幕內容採用特定算法可取得有效的針對性提高；而在秀場場景上，算法會更傾向於人臉和細節上的優化；再到體育場景，運動目標檢測和去運動模糊是主要關注點。 銳智高清智能自適應場景視頻處理

**Per-Title編碼技術 ** 根據視頻內容自適應碼率以及自適應分辨率。在 Per-Title 技術出現以前，視頻服務提供商一般會使用一個事先肯定好的通用的編碼配置來處理幾乎全部的視頻內容。一方面存在浪費，另外一方面也不能始終給用戶最佳體驗。相比於傳統的編碼方案，Per-Title 編碼技術更加註重不一樣類型視頻之間的區分度，爲每個視頻或視頻片斷找出知足清晰度和主觀敏感度要求的最低碼率點，以達到節省帶寬的目的。除了根據內容自適應碼率，Per-Title 技術還包括自適應分辨率。 圖片來源：Netflix

如圖所示，對於同一視頻源，採用三個分辨率，以及不一樣的碼率編碼。在各個分辨率下，編碼質量隨着碼率的增長而單調上升。當碼率達到必定閾值後，曲線開始變得平緩，這時須要經過提高分辨率才能進一步提高質量。

經過大量實戰，銳智高清轉碼創建起的智能碼控決策模型，對不一樣類型、相同類型不一樣片源、相同片源不一樣片斷，應用徹底不同的編碼參數，而且能夠按幀級智能調優。銳智高清使用時可讓用戶設置一個上限碼率，碼控模型將bits有效分配到最有價值的地方，在保障畫質下儘量輸出最低碼率。 銳智高清秀場場景，畫質至關節省碼率66%

AI視頻前處理

AI 視頻前處理是提高畫質的關鍵所在。由多個算法模塊組成，每一個模塊負責某種畫質加強的方向，包括：去編碼髒效應、去噪、去毛刺、銳化、對比度加強、飽和度加強、去模糊等，各模塊自適應調整強度，協同做用。

AI 視頻前處理除了提高主觀畫質之外，其做用效果並不是徹底與視頻編碼解耦。好比在加強人眼易關注紋理的同時，弱化人眼不易察覺的信息，以期達到節省編碼碼率的目的。值得一提的是，全部的前處理 AI 算法，咱們通過大量的調優打磨來平衡計算資源的消耗。 銳智高清-AI前處理對畫質大幅提高 ** ROI與碼字分配**

ROI 感興趣區域識別，以及更合理的碼字分配，重點考慮瞭如下幾個方面：

• 人臉 人臉大機率是主觀敏感區域。準肯定位人臉，作針對性地畫質調優以及編碼參數調優。智能轉碼系統支持標準版和超低複雜度版本人臉檢測，其中超低複雜度版本處理 1080P 視頻在 2ms 每幀之內。

• 人眼聚焦區域、前景重點區域 智能轉碼系統支持標準版和超低複雜度版人眼聚焦區域檢測。標準版聚焦區域檢測：採用眼動儀訓練樣本，有效定位人眼彙集區域。 超低複雜度版聚焦區域檢測：1080P 視頻單核運算時間在 1ms 每幀之內，複雜度基本忽略不計。

• 各個塊的主觀敏感度 X264 默認的自適應量化（AQ），僅僅依據方差大小做爲評判依據，對方差大的塊施以更大的量化因子。方差大小的魯棒性不足，甚至都不能很好地判斷平滑程度。如圖示例的一維信號，左圖的方差比右圖更大，事實上左圖是比較平滑的。 圖片來源：Fan Zhang, etc. Limitation and Challenges of Image Quality Measurement. SPIE 2010

以 RaceHorses 爲例，第一行宏塊，正好綠色草叢背景塊的方差比較小，而涵蓋了帽子、人臉、人眼的宏塊方差比較大，致使主觀敏感的人臉/人眼被施加了較大的 delta QP。智能轉碼系統區分了易被人眼關注的規則紋理，加以保護，在其餘編碼條件相同的條件下，取得明顯改善。

質量評價體系

銳智高清轉碼後的畫質評定，主要參考 Vmaf 客觀指標以及 MOS 主觀打分，爲畫質質量保駕護航，併爲算法指導可持續的優化迭代。 銳智高清，主觀+客觀質量評定

如下是基於 JCTVC 標準測試序列，以客觀 Vmaf 參考指標的 RD 曲線對比： 銳智高清與X264的RD曲線對比

MOS 主觀打分做爲AI畫質優化算法迭代的主要指導指標，好比秀場場景的銳化算法優化，人臉邊緣以及頭髮的細節從主觀上能夠看到改善效果，但從 Vmaf 數據上不必定有明顯的變化。MOS 採用 5 分制，打分的參考特徵包含：塊效應、噪點、毛刺、邊緣紋理、對比度等，爲此研發的 MOS 打分平臺能夠支持 20 人同步評測，極大提高效率。

以上就是七牛雲銳智轉碼的技術要點啦~

---

那用戶該如何接入銳智轉碼呢？

在七牛雲官網打開開發者中心->智能多媒體服務 選擇音視頻處理->銳智轉碼，接入 API 進行使用