在2016年的互聯網關鍵詞中,「直播」毫無疑問排在前列。從年中開始,直播便接替短視頻成爲新的大流量入口。參與直播的人,也從網紅逐漸擴大到全民,內容也從最初的單一娛樂向更多元化的方向發展。算法
直播被廣泛認爲具備很強的互動性和即時性,人們能在送禮物、發評論的互動中感覺到遠超傳統電視的存在感。但目前國內大多數直播平臺,採用的是主播單向與用戶互動的模式,非付費用戶的存在感相對稀薄。小程序
直播火了,連麥互動直播在火的路上微信小程序
2016年下半年開始發生的變化是,連麥互動直播開始成爲直播行業的標配。連麥互動直播讓主播在唱「獨角戲」以外,還能夠看到主播之間連麥唱歌聊天,觀衆與主播之間連麥遊戲互動。連麥直播意味着更即時的互動和更多待挖掘的場景。安全
連麥直播+社交:目前直播互動方式以最基礎的文字互動或虛擬物品打賞爲主,若是主播能夠和本身的觀衆進行連麥互動,讓觀衆也可以參與直播,可以帶給觀衆更直接的參與感,有利於提高直播平臺用戶活躍度和粘性。服務器
連麥直播+電商:直播+電商是目前較爲成熟和穩定的一種商業模式,變現方式更爲簡單高效。目前的電商直播主要是主播在直播間銷售商品,若是主播能現場連麥觀衆,甚至觀衆能夠穿上衣服現場演示,能爲用戶塑造臨場感,激發用戶買買買的慾望。微信
連麥互動直播流程網絡
△ 連麥互動直播功能流程圖
主播正常開始直播,普通觀衆看到主播的單人直播畫面;架構
須要連麥的觀衆發起連麥請求,進入連麥申請列表;編碼
主播從連麥申請列表中選擇一名或多名觀衆進行連麥操做,主播與連麥觀衆進行實時音視頻互動,同時互動直播系統生成「合成畫面」;spa
普通觀衆看到直播畫面爲包含主播與連麥觀衆的「合成畫面」;
連麥結束,恢復主播單人直播模式。
連麥互動直播方案
連麥互動直播的主要技術難點在於:
低延時互動:主播和互動觀衆之間就像電話溝通,爲確保主播和互動觀衆之間可以實時互動,必須保證二者能在秒級之內聽到對方的聲音,看到對方的視頻;
音畫同步:互動直播中對音畫同步的需求和單向直播中相似,只不過互動直播中的延遲要求更高,必須保證在音視頻秒級傳輸狀況下的秒級同步。
音視頻實時合成:其餘觀衆須要實時觀看到對話結果,所以須要在客戶端或者服務端將畫面和聲音實時合成,而後以低成本高品質的方式傳輸至觀衆端。
爲了實現互動實時性高的連麥,首先須要有一套實現了相似微信、Skype及Facetime的多人音視頻實時通話系統。這套實時通話系統能夠選擇自主研發或者基於開源軟件如Google的WebRTC作二次開發。下面簡單介紹多人實時通話系統的一些重點技術細節。
多人音視頻實時通話系統爲了下降通話時延,多使用UDP協議做爲傳輸層協議,衆所周知UDP協議沒有丟包重傳機制,爲了提升弱網下的實時音視頻的通話效果,須要使用相關方案來作QoS保障,主要包括:
a)使用基於網絡狀態的音視頻碼率自適應算法,根據當前網絡的丟包、時延自適應下降或者升高音頻和視頻的碼率和幀率,經過這個方法來下降網絡的擁塞,提升通話質量;
b)使用智能Jitterbuf算法來平滑網絡抖動,同時內部使用音頻編碼的丟包補償(PLC)算法進一步提高通話質量;
c)使用基於多層參考的視頻編解碼器,下降視頻丟包後的卡頓;
d)整個UDP傳輸層使用前向糾錯FEC算法進行智能保護,最大限度上保證明時音視頻通話的效果。
如今用戶對於視頻的清晰度要求愈來愈高,多人實時通話系統可以支持720p,720p下純軟件編解碼對CPU開銷過大,所以推薦使用高端機型並開啓硬編解碼模式。對於蘋果手機硬件編解碼基本上只與iOS的版本相關,而Android狀況就會複雜得多,不只與手機硬件相關,還和各個手機的ROM相關,爲了解決這個問題須要去作適配。
搭建覆蓋全球的服務器部署與網絡拓撲,在全球範圍內的機房節點搭建了多個多線接入網絡拓撲,部署了高可用的服務器集羣,並利用智能分配算法與路由策略,爲跨省、跨運營商、跨國的多人實時通話提供優質的傳輸通道。
又拍雲選擇以主播爲中心來進行連麥互動,採用實時通話系統來幫助主播和觀衆的實時互動連麥,經過實時通話通道,主播端收到觀衆端發送的音頻和視頻數據,主播端將本身的聲音和觀衆的聲音作混音,並將本身的畫面與觀衆的畫面作視頻合成,最後將混合的聲音和畫面推流到CDN流媒體服務器,保障主播和觀衆間的互動質量。
△ 又拍雲連麥互動直播方案架構圖
連麥互動直播方案有兩點優點:
主播和連麥觀衆使用了實時音視頻來進行連麥互動,實時性高,觀衆看到的合成畫面裏主播和觀衆的互動也是同步實時的,保證延時小,減小帶寬壓力。
提供集成連麥功能的直播 SDK,並持續提供技術支持,方便項目對接,大大減小了開 發的時間和精力,縮短項目上線週期。
連麥互動讓直播更富有互動性和趣味性,直播領域競爭激烈,直播平臺只有不斷推陳出新具有高用戶粘性的差別化功能,才能站穩腳跟。
又拍雲推出微信小程序SDK,更輕更快更安全
又拍直播雲SDK,自帶美顏、濾鏡、消噪、人聲增益等功能|直播技術
又拍直播雲功能處理篇:轉碼、錄製、視頻水印、視頻截圖|又拍直播雲
又拍直播雲功能基礎篇:推流和拉流、多協議輸出、多訪問方式、回源端口自定義|又拍直播雲