WebRTC源碼分析三：視頻處理流程

轉自：http://blog.csdn.net/neustar1/article/details/19480863

 

 文本介紹視頻的處理流程。圖1中顯示了兩路視頻會話視頻信號流過程。

圖1 視頻流程示意圖

以一路視頻會話爲例，主要分爲如下幾個線程：

1）視頻源產生線程：Camera生產視頻畫面，封裝成視頻幀，以必定幀率投遞到下一個模塊。；

2）採集線程：由Capturer負責採集視頻幀，並對視頻幀進行必定處理，如調整畫面亮度。並送入各個發送鏈路的編碼模塊編碼併發送出去；

3）接收線程：Rtp/Rtcp負責接收RTP/RTCP數據包，並進行包解析；

4）解碼線程：Decoder解碼編碼後的視頻幀；

5）投遞線程：Render接收解碼後的視頻幀並緩存，投遞給顯示設備；

6）顯示線程：Player負責繪製或輸出視頻畫面，能夠作多個窗口顯示或者一個窗口多畫面顯示。

    視頻解碼時間相對編碼時間要長，所以開闢了單獨線程完成解碼；另外多路視頻畫面接收後沒有相似多路音頻混音的操做，而是分別進行渲染顯示。