WebRTC的視頻解碼原理簡析

WebRTC的視頻部分,包含採集、編解碼(I420/VP8)、加密、媒體文件、圖像處理、顯示、網絡傳輸與 流控(RTP/RTCP)等功能。
視頻採集---video_capture:
      源代碼在webrtc\modules\ video_capture\main目錄下,包含接口和各個平臺的源代碼。在windows平臺上,WebRTC採用的是 dshow技術,來實現 枚舉視頻的設備信息和視頻數據的採集,這意味着能夠支持大多數的視頻採集設備;對那些須要單獨驅動程序的視頻採集卡(好比海康高清卡)就無能爲力了。
視頻採集支持多種媒體類型,好比I420、YUY二、RGB、UYUY等,並能夠進行幀大小和幀率控制。
視頻編解碼---video_coding:
       源代碼在webrtc\modules\video_coding目錄下。
      WebRTC採用I420/VP8編解碼技術。VP8是google收購ON2後的開源實現,而且也用在WebM項目中。VP8能以更少的數據提供更高質量的視頻,特別適合視頻會議這樣的需求。
視頻加密--video_engine_encryption:
        視頻加密是WebRTC的video_engine一部分,至關於視頻應用層面的功能,給點對點的視頻雙方提供了數據上的安全保證,能夠防止在Web上視頻數據的泄漏。
       視頻加密在發送端和接收端進行加解密,密鑰由視頻雙方協商,代價是會影響視頻數據處理的性能;也能夠不使用視頻加密功能,這樣在性能上會好些。
       視頻加密的數據源多是原始的數據流,也多是編碼後的數據流。估計是編碼後的數據流,這樣加密代價會小一些,須要進一步研究。
視頻媒體文件--media_file:
      源代碼在webrtc\modules\media_file目錄下。
該功能是能夠 用本地文件做爲視頻源,有點相似虛擬攝像頭的功能;支持的格式有Avi。
另外,WebRTC還能夠錄製音視頻到本地文件,比較實用的功能。
視頻圖像處理--video_processing:
      源代碼在webrtc\modules\video_processing目錄下。
      視頻圖像處理針對每一幀的圖像進行處理,包括明暗度檢測、顏色加強、降噪處理等功能,用來提高視頻質量。
視頻顯示--video_render
源代碼在webrtc\modules\video_render目錄下。
      在windows平臺,WebRTC採用 direct3d9和directdraw的方式來顯示視頻
網絡傳輸與流控:
      對於網絡視頻來說,數據的傳輸與控制是核心價值。WebRTC採用的是成熟的RTP/RTCP技術。
音頻:
       WebRTC的音頻部分,包含設備、編解碼(iLIBC/iSAC/G722/PCM16/RED/AVT、NetEQ)、加密、聲音文件、聲音處理、聲音輸出、音量控制、音視頻同步、網絡傳輸與流控(RTP/RTCP)等功能。
音頻設備---audio_device:
        源代碼在webrtc\modules\audio_device\main目錄下,包含接口和各個平臺的源代碼。
        在windows平臺上,WebRTC採用的是 Windows Core Audio和Windows Wave技術來管理音頻設備,還提供了一個混音管理器。利用音頻設備,能夠實現聲音輸出,音量控制等功能。
音頻編解碼---audio_coding:
        源代碼在webrtc\modules\audio_coding目錄下。
         WebRTC採用iLIBC/iSAC/G722/PCM16/RED/AVT編解碼技術。WebRTC還提供NetEQ功能--- 抖動緩衝器及丟包補償模塊,可以提升音質,並把延遲減至最小。另一個核心功能是基於語音會議的 混音處理。
聲音加密--voice_engine_encryption:
         和視頻同樣,WebRTC也提供聲音加密功能。
聲音文件:
        該功能是能夠用本地文件做爲音頻源,支持的格式有Pcm和Wav。一樣,WebRTC也能夠錄製音頻到本地文件。
聲音處理--audio_processing
         源代碼在webrtc\modules\ audio_processing目錄下。
         聲音處理針對音頻數據進行處理,包括回聲消除(AEC)、AECM(AEC Mobile)、自動增益(AGC)、降噪(NS)、靜音檢測(VAD)處理等功能,用來提高聲音質量。
網絡傳輸與流控:
            和視頻同樣,WebRTC採用的是成熟的RTP/RTCP技術。
---------------------
IM和視頻聊天的,能夠參考下這個 https://github.com/starrtc/starrtc-android-demo
原文:https://blog.csdn.net/fanyun_01/article/details/88936945
相關文章
相關標籤/搜索