音視頻、AI和5G等技術在東京奧運會中的應用


 

 

 

OBS(奧林匹克廣播服務公司)一直不斷嘗試將新的數字科技應用到奧運賽事中。今年的東京奧運會,它將展現大部分科技。OBS承諾爲全球觀衆呈現一場擁有豐富數據的視覺盛宴,其中IP、雲、5G和人工智能都打破了廣播製做的傳統框架,改變了內容交付和觀衆體驗的基礎,讓觀衆即便不親臨現場觀看比賽也能得到最逼真的體驗。微信

 

OBS計劃在兩週內製做9500小時的內容(其中3800~4000小時爲現場直播)。爲了實現最沉浸式的電視賽事觀看體驗,OBS使用了以下科技:網絡

 


原生超高清HDR畫質app

 

東京奧運會是史上第一屆所有使用原生超高清 HDR(High-Dynamic Range,高動態範圍圖像)製做的奧運會。「這項技術已然成熟,咱們相信它已爲東京奧運會作好準備。」 首席技術官Sotiris Salamouris說道。「但也不能掉以輕心,尤爲在咱們的製做環境中,須要將很是多的移動部分組合在一塊兒。」框架

 

42個奧運會比賽場館中, 31臺主辦國實況轉播車和22套便攜式衛星傳輸系統所有配備支持超高清 HDR的設備。ide


本次東京奧運會中國廣播電視總檯派出的的大型超高清轉播車(By  CGTN)性能

 

只有7個室外網球場將保留高清製做,同時OBS還將使用幾臺支持高清 SDR(Standard Dynamic Range,標準動態範圍)的專業攝像機。來自這些渠道的視頻將被轉換爲超高清 HDR效果,並整合到主要製做中。測試

 

這些超高清HDR信號將和高清SDR信號在一路視頻流中進行傳輸。OBS經過在一個HDR/SDR工做流裏這樣操做,將使轉播車可以輸出從超高清HDR轉換而來的高清SDR畫面。爲了支持這些信號在contribution network(指用於爲媒體廣播網絡收集內容的系統)中傳輸,OBS新建了一個完整的IP化基礎設施。完整的ST-2110標準平臺部署在國際廣播電視中心,用於承載、傳輸、分發超高清內容。大數據

 

OBS還新建了一系列色彩對應表(LUT),最大化提高所有交叉轉換(從UHD到HD/從HDR到SDR)之間的畫面質量。其中使用的HDR標準是HLG(Hybrid-Log Gamma,混合對數伽碼,HDR的一個標準)。OBS表示,經過獲取超高清HDR中的內容,或者上變換超高清HDR而後再下變換,最終的高清信號將在全部平臺提供高質量視頻(質量高於標準高清視頻)。優化

 

 

音效提高動畫

 

超高清一樣意味着音效升級——達到標準的5.1.4配置,這可讓觀衆擁有更真實的音頻體驗。賽場天花板將懸掛4個能夠調節高度的麥克風來獲取頭頂上方的聲音,從而加強5.1環繞聲。其中兩個麥克風是特意爲此次的沉浸式音效體驗設計的。OBS在這次奧運會將使用3600個麥克風(28種不一樣型號)。

 

 

 

隨着與阿里巴巴合做推出OBS Cloud,OBS將繼續推動數字化轉型。「這將大大提升持權轉播商的運營效率:更高效的產出,更低的成本(地面上的人數將減小)。這是重大創新。」OBS的CEO Yiannis Exarchos說道。


OBS CEO Yiannis Exarchos

 

首席技術官Salamouris提到不少廣播專業人士不太願意將雲用於密集的內容製做流程,尤爲是體育賽事直播中。「我能理解他們的猶豫不決。但因爲咱們的工做流對於高帶寬、大存儲和低延遲的需求,這種轉變是必然要發生的。」

 

雲工做流將極可能會成爲將來賽事的重要組成部分。「全面轉向雲技術仍處於早期階段,東京奧運會將邁出第一步。它在接下來的2022北京冬奧會將會獲得更普遍的應用。」Exarchos指出。


 

  AI

 

做爲一種對將來科技演變的測試方式, AI主導的解決方案將在東京奧運會直播工做流程中出現。其中包括基於運動員識別的AMD( Automatic Media Description,自動媒體描述)試行方案。基於運動員的號碼布,該項目將結合現有數據(如直播數據流和視頻日誌)和圖像識別。除此以外,OBS將使用語音文本轉換技術來補充和改進媒體標記。

 

此類應用(好比圖像選擇、自動搜索和剪輯)將使工做流程更加快速、高效地運轉。到2022年的北京冬奧會,OBS的目標是將AI技術應用到儘量多的體育項目中,並向持權轉播商開放服務。

 

OBS 廣播工程總監 Guillermo Jiménez 解釋說「咱們能夠根據用戶偏好定製自動提供的內容(來自國際奧委會、運動員或者比賽項目),」這意味着,內容將自動推送給廣播公司,而不是他們去搜索內容。

 

「以往的視頻標記,OBS會訓練來自主辦國的學生,讓他們來完成線上的實時標記。咱們一般會僱大約120人來標記視頻源,但即便僱了這麼多人,仍是不夠。」Salamouris 說。「他們只能作這麼多,不可能標記一切。AI 技術將標記數量提高到一個新的水平。」

 

「此外,咱們只對實時報道進行記錄和標記,這僅僅是由於咱們目前沒法記錄和標記奧運會期間製做的其餘類型的內容,如ENG (Electronic News Gathering,電子新聞採集系統)中的報道內容。對於全部非直播內容,咱們的標記範圍很是有限。」

 

東京奧運會以及接下來的北京冬奧會,OBS將驗證AI技術概念——它將識別哪些運動員在什麼時候、何地出現。廣播公司但願使用以他們本國運動員爲主的鏡頭片斷,可是數百小時的視頻中搜索特定內容是一項很是艱鉅的任務(若是像ENG那樣,內容沒有被密集地記錄下來的話)。

 

若是咱們標記全部內容,將須要付出巨大努力和僱傭大量的人工操做員。經過使用訓練有素的AI系統,標記能夠在短期內完成,同時下降成本,並提升搜索速度和搜索結果的準確性。

 


5G 測試

 

2018年的平昌冬奧會上,OBS測試了5G網絡的性能和質量。隨後OBS 再次與英特爾合做,在東京開、閉幕式期間,經過在便攜式新聞攝錄機上試用5G,測量速度及監測網絡性能。OBS 將在 2022 年北京冬奧會的轉播中進一步採用 5G 技術,屆時全部比賽場館都有望實現 5G 網絡覆蓋。

 

5G 最顯著的應用是經過鏈路聚合技術對現有無線解決方案優化。「咱們在奧林匹克體育場內特定區域的部分報道將採用5G技術,」 Salamouris說。「5G 具備巨大潛力,讓咱們在無線和移動視頻覆蓋方面擁有更多選擇,而不會進一步增長咱們對臨時分配頻率的需求——這一直是奧運會這樣規模賽事的主要挑戰之一。」

 

5G還能夠與IoT(物聯網)設備結合使用。比賽期間,這些設備經過傳感器接收到來自運動員的各類信號。

 

解說們對經過5G(與物聯網傳感器)獲取實時表現數據很是感興趣,這些數據使他們能更好地進行賽事解說。固然,其餘無線技術也能獲取來自傳感器的數據,但5G更高效、更強大,能夠在極低的延遲下提供超高的數據收集速度。有了5G,將再也不須要設置覆蓋網絡或臨時系統(這些系統老是影響基礎設施)。」

 

 

數字覆蓋

 

與 2016 年裏約奧運會相比,本次奧運會OBS 的內容製做量將增長 30%,其中大部份內容將分發到數字平臺。這些數字發行平臺可使用多達9000個剪輯視頻以及被稱爲Content+的短內容,其中包括比賽賽場、奧運村、城市東京的幕後內容,以及使用智能手機拍攝的內容。除此以外,OBS計劃製做全部比賽項目的快速回放特輯。


 

多機位回放系統

 

包括體操、田徑、極限單車、滑板、運動攀巖和排球在內的場地將會放置60~80臺 4K攝像機,每臺攝像機都安裝在一個機器人平臺上,可以向任何方向精確地平移和傾斜,並由一位操做員遠程控制攝像機的推拉搖移。每次回放,操做員選擇運動畫面被定格的點,而且能夠圍繞運動員從一側到另外一側控制回放,以及在不損失分辨率的狀況下放大畫面(多虧了4K 分辨率)。因爲回放系統將這些視頻流拼接在一塊兒,而且沒必要建立填充幀,所以不須要渲染。回放系統五秒內就能準備好多機位回放。OBS 表示效果很像電影《黑客帝國》中基努·裏維斯躲避子彈。

 

3D運動員追蹤(3DAT)

 

本次直播首開先河,將對如下內容提供一種內部視角:賽跑項目的比賽結果、運動員表現以及運動員間的相互對比。奧林匹克體育場將在場地內安裝四臺雲臺攝像機,以實時拍攝短跑運動員的表現。3DAT 技術依賴於能夠處理大數據的海量算力,這些算力託管在阿里巴巴雲基礎設施中基於英特爾的數據中心。OBS可以在短期內交付這些新的分析數據(做爲多層視頻流的一部分),如visual overlay(指節目製做裏的虛擬在線包裝層)將向觀衆顯示每一個短跑運動員達到最高速度的準確時刻。

 

 

虛擬3D技術

 

運動攀巖在東京奧運會上首次亮相。爲了讓觀衆瞭解該項目給運動員帶來的巨大挑戰,OBS將以3D形式展示攀巖巖點和巖壁。AR 技術將用於(真實)攝像機鏡頭和虛擬鏡頭之間的切換,並生成巖點、巖壁不一樣角度和路線的虛擬數據。

 

 

360°回放


埼玉超級競技場

 

英特爾的True View技術將在本屆奧運會籃球比賽中大顯身手,35臺4K攝像機被安裝在埼玉超級競技場的大廳,用於拍攝體三維視頻(volumetric video)。這些視頻通過處理後,能夠從球場上的任何角度呈現 360 °回放、全景和定格畫面。OBS將爲每場籃球比賽制做多達10個視頻。

 

VR

 

OBS 計劃提供 110 小時的沉浸式 180° 立體和 360° 全景直播,涵蓋開幕式和閉幕式,以及沙灘排球和體操等特定比賽項目(由於在這些項目中,攝像機距離運動員最近)。

 

OBS將在固定位置放置6臺180°立體攝像機,以及一個 360° 攝像機來拍攝奧運會開、閉幕式和比賽。大量比賽中的精彩瞬間和幾乎每一個項目的多視角片斷都將補充到直播中(其中一些從未被VR獲取到),其中包括運動員穿戴的攝像頭把訓練期間的表現記錄爲VOD點播視頻,並讓 VR 用戶體驗成爲一名奧運會運動員的感受。此類視頻將以 180° 和 360° 格式提供給廣播公司用於 VR 服務。

 

8K

 

雖然8K並非主辦國廣播機構的官方部署內容,但自2012倫敦奧運會以來,它已成爲奧運會應用將來科技的主要方向。在東京國際廣播中心,NHK 建造了一個 8K HDR 22.2 多聲道劇院,這讓其餘廣播公司驚歎不已。除了東京奧運會的開幕式和閉幕式,OBS和NHK還將提供 8K 超高清直播,包括田徑、羽毛球、足球、柔道、游泳、乒乓球和排球的選定賽事。ENG 工做人員還將用8K製做其餘體育項目,包括藝術體操、藝術游泳、3x3籃球、滑板和運動攀巖。

 

 

東京奧運會正在如火如荼地進行中,這幾天前方頻頻傳來捷報,中國運動員在多個體育項目中斬獲金牌。LiveVideoStack祝福中國健兒在接下來的比賽中再接再礪,取得更好的成績!爲大家驕傲!加油!


東京奧運會冠軍孫一文、楊倩和侯志慧(By Global Times)


 

翻譯 / Alex 
技術Review / 王毅敏
原文連接:
https://www.ibc.org/trends/the-greatest-show-on-earth-how-obs-plans-to-immerse-viewers-in-the-tokyo-olympics/7720.article
特別說明:本文成稿與東京奧運會以前,因此文中使用未來時態。原做者Adrian Pennington已受權本文的翻譯與發佈,特此感謝。


本文分享自微信公衆號 - LiveVideoStack(livevideostack)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索