RTC2018互聯網大會參會總結

一，行業趨勢

今年在RTC界影響較爲重大的事件:

• WebRTC 1.0 Feature Complete

    WebRTC項目從2011年至今，經歷了7年的時間。從最初項目的開源到標準的逐步完善，到各大瀏覽器廠商到支持，到今年全部的功能特性敲定，標準的最終定稿，標誌這WebRTC項目邁向成熟，且將迎來更大的一波爆發。

• AV1定稿

    AV1編碼標準是AOM聯盟發佈的首個Codec。AOM聯盟在今年3月份，宣佈AV1完成最終定稿，而且蘋果也宣傳加入AOM聯盟，將支持AV1。有了蘋果的支持，AV1有望成爲下一代一統江湖的編碼規範。

• AI與深度學習在RTC技術的深度結合

    除了標準相關，隨着人工智能的發展，實時音視頻領域跟人工智能結合也給行業帶來了更多的創新機會（基於機器學習的編碼，帶寬實時估計，實時圖像識別等。

• 5G商用時間表落地

    今年，各國5G商用時間表落地，將催生更多的RTC場景。

    除了以上關鍵事件，今年隨着RTC技術的發展，RTC技術在教育/醫療/遊戲行業/政府民生有了更多的應用的場景，實時音視頻技術的結合也將有一輪新的浪潮。

• 教育行業

    隨着實時音視頻技術的普及，在線教育的互動能力，在線教育的教學模式也迎來了新一輪的創新突破，好比舉手連麥，1v1，雙師模式，小班課，學生表情分析等。另外，更多垂直領域相關的教育服務場景，如互動英語教學，實時樂器/聲樂教學，都須要低延遲的RTC服務。

• 遊戲行業

    基於實時視頻遊戲互動的遊戲場景，如狼人殺，棋牌遊戲等。將以前的陌生人純對戰遊戲方式，變成基於熟人之間的音視頻社交遊戲體驗。在線娃娃機也是今年比較火爆的一個遊戲與RTC結合的場景。另外在VR/AR方面，也有一些結合RTC技術的遊戲體驗嘗試。

• 其餘

    重慶上線120急救服務，用於在救護車到達前經過實時音視頻技術，讓專業醫生指導患者緊急診斷處理，避免錯過最佳的治療搶救時間或者由於誤操做形成2次傷害。其餘的場景，好比實時警務，證券開戶，在線答題等，都是今年在RTC行業上爆發的新應用場景。

二，議題

    大會分爲2天，第一天上午主會場主要是聲網對行業趨勢講解，下午分爲機器學習與實時技術專場，實時互動架構設計專場，編解碼技術專場。9月8號上午則爲國際峯會，主要邀請了WebRTC規範做者以及WebRTC產品經理還有其餘音視頻領域外籍專家講解一些標準以及新方向。下午爲大前端實時技術專場，實時網絡與質量專場，社交遊戲專場。

1，編解碼技術專場

    主要講解了一些較爲前沿的編碼技術方向 ，好比：

    聲網的面向實時通信的高質量視頻編碼優化的方案的介紹，大概的優化策略爲：

• 編碼前：基於機器學習的帶寬估計；幀率，分辨率自適應；圖片內容檢測及ＲＯＩ編碼。

• 編碼中：碼率控制算法優化；軟硬件動態切換編碼；視頻質量主觀評分系統；

    另一個專題介紹了，聲網耗費2年時間自研音頻解碼器solox - 兼容 WebRTC 標準的抗丟包語音編碼器。

    主要分享了聲網研發的一個solox的音頻編碼器方案，而且兼容WebRTC標準，在抗性這塊優於opus。其思路大概爲將本來32k碼率的音頻，編碼階段拆分紅2組16k碼率 流，而且他們是分組頻互補關係。這樣當用戶接收時，網絡很差，丟了一組碼率，也能正經常使用一組低碼率流播放，網絡好時，則2路一塊兒處理，音質效果更佳。

2，海外專場

    本次國際峯會邀請了2位谷歌WebRTC方向相關工做者來給咱們分享。

Daniel Burnett做爲W3C WebRTC規範編寫者之一，分享了WebRTC繼1.0定稿後，下一個版本的加強的一些特性方向 - What is next for the WebRTC standard?，主要內容：

• 身份驗證與同播:

只有指定的對端才能解密捕獲後加密的媒體流;同一時間同時接收以及發送多分辨率視頻流。

• 可伸縮編碼（H265/AV1）:

視頻能夠在時間以及空間緯度壓縮。時間緯度：發送低幀率視頻，並插入高幀率視頻流；空間緯度：發送低分辨率幀，插入額外高分辨率幀。根據實時帶寬，接收低/高的幀率或者分辨率的流。

• 後臺運行

WebRTC運行時，不依賴瀏覽器窗口打開。

• javascript更多能力

對於前端開發人員來講，以前WebRTC提供給瀏覽器接口的能力比較受限，不少底層邏輯(解包，解碼)都沒法在javascript層面去幹預。下一版本將着重提升javascript在WebRTC中的操做能力，好比：能夠處理getUserMedia獲取到的媒體流；替換編解碼器，設置編解碼器參數等。

• Quic用於替換DataChanel SCTP

    另一個谷歌的WebRTC產品經理Huib Kleinhout概述了WebRTC涵蓋的許多組件、標準和技術挑戰，以及它如何改變了通訊行業 - WebRTC 1.0 and beyond。 從該分享中能夠提煉幾個點：

• WebRTC的使用用戶愈來愈多，其中近2年中國增速較快；

• SDP的標準將從Chrome72默認採用Unified Plan；

• 目前除Chrome外，其餘瀏覽器的WebRTC都落後幾個版本；

• WebRTC在各個瀏覽器版本中的測試狀況，以及谷歌專門設計的一套測試工具介紹；

• 谷歌在解決的一些issue狀況。好比，mac上面聲音獲取異常等；

• WebRTC跟其餘技術結合，能作一些更有趣的場景(WebGL，AI，屏幕捕獲，Canva，PWA)

  
  

3，實時架構設計專場

    因爲IMWeb目前主要作騰訊在線教育業務，大會也有不少關於教育領域的話題，其中來自vipkid的技術副總裁張燕靜作了一個《技術創新改變教育將來》的分享。他們是一個讓美國外教教中國小朋友學英語的業務，主要也是依靠RTC實時音視頻技術來作技術支撐。分享了他們業務的一些數據跟技術上面的架構。

數據：

• 1000萬+的老師客戶端，1.5億學生客戶端

• 6萬北美外教，50萬付費學生（這裏的數據我的感受跟上面的客戶端佔比不大符合），分佈63個國家地區

  
  

技術架構：

• 跨全球的第延遲通信網絡，網絡節點遍及16個國家，55個城市

• 全球9個計算中心，100臺gpu集羣

• 基於機器學習的學生表情識別，語音評測，智能客服

  
  

業務：

• 根據學生性格分配老師，根據老師的能力圖譜分配特定年級的老師，以及根據學生學習能力分配特定教材，根據錯題定製化強化教學服務

• 課前經過趣味性交互，提早預熱，讓學生更早進入狀態

• 根據學生行爲經過數據化指標去衡量學生的學習狀況，針對據說讀寫弱項作強化，課後發送學習評測報告反饋家長。

  
  

    其餘講題因爲篇幅關係，就不一一展開。

三，總結

    本次參加RTC大會，不管從行業視角或者技術內容相關的，都能帶來很多收穫。特別是不少教育領域的不少公司也應用了WebRTC相關的技術去作，在1 對多直播架構架構，Web上行這塊也有不少踩坑經驗能夠借鑑。還有就是Google Daniel Burnett的WebRTC下一標準特性的介紹，確實給了js開發者不少信心，相信從此前端經過JS在瀏覽器上面處理音視頻的能力以及權限，能力愈來愈大，這樣也能作更多好玩的事情。最後，音視頻領域水很深，做爲前端來講，太多知識須要繼續惡補，不斷學習瞭解，共勉！~