移動直播



1、直播的技術架構:
直播視頻採集SDK(PC/IOS/Anddroid)——直播CDN

(直播流分發加速)——直播視頻播放器SDK(PC/IOS/Android)api


2、音視頻處理的通常流程:緩存

數據採集→數據編碼→數據傳輸(流媒體服務器) →解碼數據→播放顯示服務器

一、數據採集:網絡

攝像機及拾音器收集視頻及音頻數據,此時獲得的爲原始數據架構

涉及技術或協議:框架

攝像機:CCD、CMOS編碼

拾音器:聲電轉換裝置(咪頭)、音頻放大電路插件

二、數據編碼:代理

使用相關硬件或軟件對音視頻原始數據進行編碼處理(數字化)及加工(如音視頻混合、打包封裝等),獲得可用的音視頻數據視頻

涉及技術或協議:

編碼方式:CBR、VBR
編碼格式
視頻:H.26五、H.26四、MPEG-4等,封裝容器有TS、MKV、AVI、MP4等
音頻:G.711μ、AAC、Opus等,封裝有MP三、OGG、AAC等

三、數據傳輸:

將編碼完成後的音視頻數據進行傳輸,早期的音視頻經過同軸電纜之類的線纜進行傳輸,IP網絡發展後,使用IP網絡優傳輸

涉及技術或協議:

傳輸協議:RTP與RTCP、RTSP、RTMP、HTTP、HLS(HTTP Live Streaming)等

控制信令:SIP和SDP、SNMP等

四、解碼數據:

使用相關硬件或軟件對接收到的編碼後的音視頻數據進行解碼,獲得能夠直接顯示的圖像/聲音

涉及技術或協議:

通常對應的編碼器都會帶有相應的解碼器,也有一些第三方解碼插件等

五、播放顯示:

在顯示器(電視、監視屏等)或揚聲器(耳機、喇叭等)裏,顯示相應的圖像畫面或聲音

涉及技術或協議:

顯示器、揚聲器、3D眼鏡等



3、常見的視頻直播相關協議:

一、RTMP(Real Time Messaging Protocol,實時消息傳送協議)

RTMP是Adobe Systems公司爲Flash播放器和服務器之間音頻、視頻和數據傳輸開發的開放協議。它有三種變種:

1)、工做在TCP之上的明文協議,使用端口1935;

2)、RTMPT封裝在HTTP請求之中,可穿越防火牆;

3)、RTMPS相似RTMPT,但使用的是HTTPS鏈接;

RTMP協議是被Flash用於對象、視頻、音頻的傳輸。這個協議創建在TCP協議或者輪詢HTTP協議之上。RTMP協議就像一個用來裝數據包的容器,這些數據既能夠是AMF格式的數據,也能夠是FLV中的視音頻數據。一個單一的鏈接能夠經過不一樣的通道傳輸多路網絡流,這些通道中的包都是按照固定大小的包傳輸的。

二、RTSP(Real Time Streaming Protocol,實時流傳輸協議)

RTSP定義了一對多應用程序如何有效地經過IP網絡傳送多媒體數據。RTSP提供了一個可擴展框架,數據源能夠包括實時數據與已有的存儲的數據。該協議目的在於控制多個數據發送鏈接,爲選擇發送通道如UDP、組播UDP與TCP提供途徑,併爲選擇基於RTP上發送機制提供方法。

RTSP語法和運做跟HTTP/1.1相似,但並不特別強調時間同步,因此比較能容忍網絡延遲。代理服務器的緩存功能也一樣適用於RTSP,而且由於RTSP具備從新導向功能,可根據實際負載狀況來切換提供服務的服務器,以免過大的負載集中於同一服務器而形成延遲。

三、RTP(Real-time Transport Protocol,實時傳輸協議)

RTP是針對多媒體數據流的一種傳輸層協議,詳細說明了在互聯網上傳遞音頻和視頻的標準數據包格式。RTP協議經常使用於流媒體系統(配合RTCP協議),視頻會議和一鍵通系統(配合H.323或SIP),使它成爲IP電話產業的技術基礎。

RTP是創建在UDP協議上的,常與RTCP一塊兒使用,其自己並無提供按時發送機制或其它服務質量(QoS)保證,它依賴於低層服務去實現這一過程。

RTP 並不保證傳送或防止無序傳送,也不肯定底層網絡的可靠性,只管發送,無論傳輸是否丟包,也無論接收方是否有收到包。RTP 實行有序傳送,RTP中的序列號容許接收方重組發送方的包序列,同時序列號也能用於決定適當的包位置,如在視頻解碼中,就不須要順序解碼。

四、RTCP(Real-time Transport Control Protocol,實時傳輸控制協議)

RTCP是RTP的配套協議,爲RTP媒體流提供信道外的控制。RTCP和RTP一塊兒協做將多媒體數據打包和發送,按期在多媒體流會話參與者之間傳輸控制數據。

RTCP的主要功能是爲RTP所提供的服務質量(QoS)提供反饋,收集相關媒體鏈接的統計信息,例如傳輸字節數,傳輸分組數,丟失分組數,單向和雙向網絡延遲等等。網絡應用程序能夠利用RTCP所提供的信息來提升服務質量,好比限制流量或改用壓縮比小的編解碼器。

4、直播下的聊天室功能

一、直播的場景下,除了視頻直播還有一塊就是聊天功能,觀衆打開一個直播房間時,也就自動進入了一個聊天室,觀衆能夠發文字發表情進行互動,道具打賞也是基於聊天室的接口作上去的。
二、聊天室和羣聊的功能相似,二者的區別是:聊天室的場景下,用戶進入後才能看到聊天信息,羣成員信息,退出後再進來就看不到以前的歷史消息了。
三、聊天室實際上是im即時通信中的一個功能,im主要能實現一對一聊天、羣聊、聊天室3種場景。

5、利益相關

第三方的,直播、IM即時通信技術的,底層架構都是作好的,開放給開發者sdk和api接口、demo源碼

權。
相關文章
相關標籤/搜索