阿里視頻雲技術專家孫小軍：短視頻SDK非編架構與渲染引擎技術實現

在6月8日上海雲棲視頻專場中，阿里視頻雲技術專家孫小軍進行了一場短視頻技術分享，解讀了短視頻非編架構和渲染技術架構的實現原理。阿里雲短視頻SDK服務了1000多家企業用戶，遇到了不一樣垂直行業、不一樣業務場景的客戶。除了面臨多樣性需求的技術挑戰外，還面臨着擴展性、性能及兼容性上的考量。

那麼，在基礎架構研發層面是如何解決這些問題呢？

阿里雲的短視頻SDK從非線性編輯入手，主要目標是對音視頻素材作任意部分的隨機存取、修改和處理。其次，阿里雲短視頻SDK對渲染效果進行管道化處理，提供渲染底座，方便對接不一樣的視頻算法及組合複雜的渲染流程。

在傳統的非編場景中，當咱們有編輯需求時，是這麼操做的。左上角有素材裁剪，導入或採集的視頻，要作裁剪、倒放、拉伸等等處理，下一步是添加一些濾鏡效果，若是有多段視頻，能夠選擇不一樣方式的轉場。下面在整個視頻時間軸上存在不一樣軌道，每一個軌道上能夠在不一樣的時間段放不一樣的素材，每一個素材能夠拉伸時長、變速等。

1、短視頻的非編架構是怎樣的?

經過提煉，咱們抽取了五層架構。最上面一層是產品級的DEMO，方便用戶快速修改發佈上線；第二層是成熟的、開源的UI控件，像時間軸空間、文字動圖編輯控件等，用戶能夠直接使用也能夠定製化；第三層是針對短視頻場景進行一些編排，包括錄製場景、視頻導入裁剪、多段拼接、編輯場景等；第四層是多媒體領域通用性的組件，包括渲染、音頻處理、編解碼等；最下層是多媒體分發框架，是對包括線程模型、時鐘機制、監控、狀態管理等跨平臺的基礎能力的抽象。下面咱們從幾個重點層級詳細展開。