乾貨|淺談iOS端短視頻SDK技術實現

短視頻SDK主要包含「視頻錄製」和「視頻編輯」這兩個核心功能。

視頻錄製包括：視頻採集、美顏、濾鏡、攝像頭切換、視音頻採集參數設置等功能；

視頻編輯包括：視頻導入、合成、特效、濾鏡、字幕、貼紙、音樂、播放、導出等功能。

1、短視頻SDK框架

如上圖所示，短視頻SDK的技術框架分爲三個層級，分別爲核心處理層、業務邏輯層和業務接口層：

• 核心處理層：負責短視頻底層的技術實現，包括媒體組合、GPU數據輸入、視頻過渡、視頻特效、視頻像素、添加字幕/貼紙、圖像轉視頻、GPU數據、音視頻處理、音頻混響、音頻調節、音頻延時、視頻預覽和媒體合成；
• 業務邏輯層：負責短視頻業務邏輯的實現，包括錄製邏輯處理和編輯邏輯處理兩部分，具體包括素材時間線管理、音頻時間線管理、過渡效果管理、字幕圖層管理、貼紙圖層管理和視頻特效管理；
• 業務接口層：負責向上業務的對接，包括錄製接口和編輯接口。

2、視頻錄製

視頻錄製的實現流程就如上圖所示，首先開啓採集攝像頭進行畫面以及聲音的採集，在採集過程當中支持分別對採集的數據進行視頻處理和音頻處理，包括濾鏡、降噪、添加貼紙、混音等，處理完成後進入視頻編輯環節，最終經過ffmpeg編碼並生成MP4文件。視頻錄製全程採用了GPU以及硬件編碼，使得CPU使用率很是低，即便在性能較差的手機上也能很好的運行。

點擊【閱讀】，瞭解更多「短視頻SDK詳情」

3、視頻編輯

視頻編輯是指對錄製或選定的視頻內容進行編輯處理，其業務流程爲先將須要編輯的視頻內容進行導入，而後在分別進行視頻和音頻處理，包括添加濾鏡、字幕、貼紙、視頻裁剪及複製、視頻變速及旋轉、添加背景音樂、混音等，處理完的音視頻可進行媒體即時預覽，最後將編輯完成的媒體文件進行合成並導出。

一、視頻處理

視頻處理的實現流程如上圖所示，將輸入的視頻內容進行裁剪、分割、複製、旋轉、濾鏡等視頻過渡和特效處理，此外還支持添加字幕和貼紙，處理後的視頻內容經過混合器進行混合，最後編碼輸出。

視頻處理主要是利用ffmpeg進行相應的處理，將原始的視頻進行解碼，而後將解碼後的YUV數據映射到GPU的紋理上進行相應的參數調節，而後將調好的參數配置進行編輯處理。

二、音頻處理

音頻處理的實現流程如上圖所示，首先須要從視頻源中分離出音頻軌道，造成原生的音頻軌道，而後將添加的背景音樂的音頻軌道插入原聲的音頻軌道中，經過調整原聲和背景音樂的音量，造成原始音頻和背景音樂的混合，最後經過媒體合併將混合後的音頻軌道與處理完的視頻軌道進行相關類合成。

三、媒體預覽

媒體預覽的實現流程如上圖所示，將視頻內容、音頻內容和背景音樂等可變內容經過自定義合成線程進行處理，包括信息傳遞、過渡等，最後對處理後的視音頻經過播放器進行即時預覽。

四、媒體合成

媒體合成的實現流程如上圖所示，首先按照時間鏈讀取處理後的須要合併的多個視頻內容和混音後的音頻內容，而後開始分別對視頻內容和音頻內容進行合併，合併實現方式爲對視頻內容和音頻內容作基於ffmpeg的編碼，將編碼後的視音頻合併爲總體的媒體文件，最後對外輸出合併後mp4文件。

4、短視頻應用場景

一、電商產品展現

商家端可經過短視頻SDK將拍攝的視頻或圖片快速進行合併、裁剪和編輯，配合字幕、貼紙、音樂等特效，製做商品展現短片，更形象的展現商品，提高用戶購物體驗。結合京東雲點播產品和播放器SDK，可造成完成的短視頻端到端解決方案。

二、社交創意分享

短視頻有助於用戶更生動的表達觀點，傳遞更真實的場景。此外還可經過美顏、濾鏡、字幕、貼紙等特效，合併和剪輯等功能來製做新的視頻，將我的創意或焦點內容合成一個新的短視頻，提升視頻熱點和點擊率。

總結

以上就是iOS端短視頻SDK 的主要技術實現方式，京東雲短視頻SDK配合雲端視頻點播產品，可爲客戶提供完整的短視頻解決方案，幫助用戶聚焦業務自己的同時可以快速具有短視頻業務支撐的能力，歡迎你們在京東雲官網體驗短視頻DEMO和下載集成。

點擊【閱讀】，瞭解更多「短視頻SDK詳情」

歡迎點擊「京東雲」瞭解更多精彩內容