摘要: 2016年能夠說是VR元年,從Facebook的Oculus,HTC的Vive到Sony的PS VR,層出不窮的VR設備和VR內容讓用戶逐步開始體驗到了虛擬現實的魅力。VR視頻和VR直播儼然已經成爲了展覽會議、活動賽事的標配,甚至向婚慶、新聞、影視行業延伸。html
原文地址:http://click.aliyun.com/m/43781/前端
2016年能夠說是VR元年,從Facebook的Oculus,HTC的Vive到Sony的PS VR,層出不窮的VR設備和VR內容讓用戶逐步開始體驗到了虛擬現實的魅力。VR視頻和VR直播儼然已經成爲了展覽會議、活動賽事的標配,甚至向婚慶、新聞、影視行業延伸。那麼VR直播的實現挑戰、關鍵技術、解決方案和應用場景都是什麼呢?本文將爲你們逐一展開。算法
VR直播爲何被看好c#
一般咱們看到的活動、新聞現場VR直播,最大的特色是全景觀感和交互性強。VR直播採用專業的拍攝設備覆蓋用戶整個360度的視野,捕捉到的每一幀畫面都是一個360度的全景,觀衆能夠選擇上下左右任意的角度來觀看,沒有限制地觀察三維立體空間內的事物,體驗全景帶來的逼真和沉浸感。安全
同時,VR直播具備直播實時性、互動性的特色,結合VR的技術手段,從視覺、聽覺、嗅覺等感官系統出發,營造一個完整的虛擬環境,讓觀衆與空間、主播、甚至其餘觀衆產生互動。以上兩大特色讓VR直播在直播模式中脫穎而出,成爲了煊赫一時的、用來吸引用戶的新玩法。服務器
預計在將來幾年,隨着技術積累和環境逐漸成熟,VR直播將逐漸迎來爆發。它將不只會在演唱會、賽事、活動等場景中被愈來愈大規模地應用,也會逐漸走進新聞廣電、遊戲、教育、醫療等領域,服務於各場景下的沉浸式體驗。網絡
那麼,若是你擁有適合的內容,你又該如何開展VR直播呢?性能
VR直播面臨的挑戰優化
任何的直播,觀衆都但願是清晰和真實的。VR直播中由於用戶體驗到的包裹着用戶全部視野的VR視頻是一個球形的視頻,而實際上在源端轉碼而且傳輸到終端設備的是這個球形的二維展開。因此即便是VR視頻都號稱特別高的分辨率,可是用戶的體驗仍然不理想。若是要讓用戶體驗到超1080p的虛擬現實體驗,咱們須要的VR視頻源的分辨率就要達到8K甚至更高,由於2D的虛擬現實仍是離真實的感受差太遠。理想狀況下,咱們須要8K/3D才能使得用戶真正的沉浸於虛擬現實之中,而這就須要50Mbps-100Mbps的帶寬。ui
VR球形視頻及其Equirectangular平面展開
直播一般是在全國、甚至全球觀衆面前播放,而普通用戶家裏穩定的下載速度通常只有10-20 Mbps左右,更大的碼率就不能保證家庭網絡能穩定接收了。因此通常的VR視頻會強行把碼率壓到3-10Mbps左右範圍,犧牲清晰度,以保證用戶穩定接收。因此,帶寬問題成爲了已經成爲了VR實際播放效果很差最大的瓶頸。
假設這個限制因素得已解決,相對普通直播,VR直播也是對CDN的節點覆蓋度、帶寬儲備、穩定性的要求更高的。自建CDN和小型第三方CDN廠商都沒法知足高效分發的需求。並且,直播場景下的帶寬費用也是相對比較高昂的,這都是平臺方須要考慮的問題。
另外,VR直播也對轉碼的實時性、終端解碼性能等有很高的要求。鑑於其交互形式複雜,涉及到專業設備,還會存在好比市面上主流頭顯、移動設備的適配等問題。想要開始直播,須要投入大量的人力和物力進行研發。
面對如此困境,市面上可以解決帶寬對播放效果的限制問題的解決方案提供商寥寥無幾。爲了用技術給用戶帶來更高價值的體驗,阿里雲在近期推出了VR視頻解決方案,在保證360度3D 立體VR視頻的高清晰度的前提下,基於視角進行流媒體動態切換,最大化節約傳輸帶寬,實現低至 3Mbps 的 4K VR 分發,爲用戶帶來突破性的高價值體驗。
VR直播總體流程及關鍵技術
VR直播的流程與普通直播類似,主要包括:攝像機採集、PC端視頻編解碼及處理、視頻推流、雲端分發、客戶端播放等。
1、攝像機採集畫面,經過360度球形攝像機採集現場視頻
2、前端一體機進行視頻處理,這一步中包括多路視頻流的拼接
3、對VR視頻進行編碼,並推流到服務器或CDN
4、高性能雲端CDN進行視頻分發,傳輸到離用戶最近的節點
5、客戶端播放,這是VR直播和視頻直播最大的不一樣之處,須要既支持沉浸式的頭顯體驗,也提供降級的手持手機VR體驗,能夠知足用戶隨時隨地輕量級的體驗需求。
阿里雲VR解決方案在其中有四個關鍵技術與能力:
1、國標映射技術進行視頻加工 有效節省75%碼率
阿里巴巴VR技術團隊通過不斷探索實踐,提出的映射技術被VR國家標準承認。在技術實現層,支持兩種映射模型,對稱映射模型能夠最大化端到端的VR顯示兼容性,非對稱映射模型能夠最大化關鍵畫面區域的有效像素比和清晰度。
同時,阿里雲VR視頻解決方案基於非對稱映射模型和動態流切換技術,視頻流只傳輸用戶觀看的內容,用很是低的碼率進行高清的VR點播和直播,最大化節約傳輸帶寬,比普通的壓縮技術能夠節約75%左右的碼率。
2、高清雙目VR拍攝方案
解決了碼率太大這個痛點,對於視頻採集的清晰度就再也不有限制了。阿里雲VR視頻解決方案支持高達20臺攝像機的實時畫面採集,攝像機間時間軸同步,搭配阿里云云導播臺,可實現現場導播和多機位切換。採集完成後,解決方案支持360度3D畫面實時拼接,而且具有高達10gb/s數據處理能力,完美儲存極大碼率4K超高清原始介質。進入圖文包裝階段,阿里雲VR解決方案搭建了國內首個3D VR實時圖文包裝系統,經過計算深度信息,將記分牌、角標等外插內容與全景3D畫面實時融合,全方位展現信息,而且支持導入現場2D畫面,使得VR直播是普通2D直播的加法,優化用戶體驗,這種技術曾應用在阿里雲年會之上,獲得了實際場景的驗證。
3、全鏈路低延時實現
在整個VR直播系統的技術實現的方面,涉及到從採集端到雲端再到播放端的技術,阿里雲的VR視頻解決方案,在雲端上採用基於阿里雲GPU+CPU技術的異構映射,處理和轉碼系統,在終端上能夠實時進行多路視角流切換的播放器,終端實時切流延遲平均350ms左右。
4、全面保障
依託阿里雲CDN在全球1200+節點和OSS可靠的數據存儲,保障了直播內容的極速分發和媒資的安全、穩定。同時,該解決方案支持可視化業務監控,支持無縫容災切流機制,保證運營安全。
除此以外,VR視頻解決方案是從採集、轉碼、推流、分發到播放一站式的解決方案,採集端可進行快速圖文包裝,服務端一鍵入駐,全終端集成SDK,支持主流頭顯適配,而且已經在優酷視頻通過3億次播放驗證,穩定可靠,值得用戶信賴。
VR直播的典型適用場景
1、Live直播
多機位多視角覆蓋舞臺,與杜比合做的全景聲製做與分發,能夠完美還原演唱會現場氛圍,給粉絲帶來身臨其境的體驗,圖文包裝樂曲和演員信息,畫面實時互動更是增長了娛樂性,讓粉絲全面、立體、多角度地和明星零距離接觸。
2、 外景直播
在大型賽事、新聞、活動現場,VR直播能夠消除觀衆與主持人、選手的距離感,突破原有的視角,高度還原事件現場。
3、 秀場直播
VR直播能夠給主播全新的表現能力,僅需升級一款移動VR設備進行直播,就能夠達到相比普通直播更具沉浸感的直播效果,使用戶打賞更投入
4、 遊戲直播
遊戲場景之下,平臺能夠精心製做內容,只須要接入VR的推流地址,便可進行直播形式的推流與分發,給觀衆更好的觀看體驗。
在將來,有了技術的加持,VR能夠走進教育、醫療、購物、旅遊、婚慶等各個領域,虛擬現實世界必定會帶給用戶更多驚喜,咱們期待經過技術,更多人用更低的成本體驗到世界的豐富和精彩。
本次對VR直播的闡述就到這裏,若是想了解VR視頻解決方案詳情,可點擊:
https://www.aliyun.com/solution/security/vrlive?wh_ttid=pc
下次咱們將對VR映射算法進行技術解讀,想了解的用戶能夠關注阿里視頻雲公衆號,更多精彩內容敬請期待!
末尾放一波福利:
識別如下二維碼,閱讀更多幹貨