儘管有WebRTC和FFmpeg這樣的超級工具，但多媒體開發的核心難點的難度並無所以下降，這須要開發者掌握牢固的基礎知識。LiveVideoStack專訪了即構科技音視頻技術資深架構師黃開寧，他對學習多媒體開發給出了十分客觀的評估。並對WebRTC的前景以及行業熱點給出了本身的分析。在5月19-20日舉行的WebRTCon 2018上，黃開寧將分享即構科技在WebRTC服務端開發方面的探索。算法
LiveVideoStack：可否簡要介紹下本身，包括目前的主要工做及關注領域？瀏覽器
黃開寧：我作音視頻研發10多年了，一直從事呼叫中心IVR、視頻會議和直播系統架構設計和開發。2012年起，開始對WebRTC技術進行研究和應用。目前在即構從事實時音視頻引擎開發和WebRTC-Gateway開發；主要關注傳輸優化、智能路由和高性能服務器等領域。服務器
LiveVideoStack：從呼叫中心IVR、視頻會議到直播，十年來一直在多媒體通訊領域，是順利天然的發展，仍是有意而爲之呢？網絡
黃開寧：是天然的發展，也是有意爲之。架構
一是因爲市場的發展，讓咱們作技術的也須要跟隨熱點去選擇技術方向。其次，在從事IVR行業時，個人主要工做是語音處理以及通訊技術，當時以爲傳輸技術神祕又高深，爲了一探究竟，就被它慢慢「吸」了進來。在當時的網絡條件下，傳輸是視頻會議的難題之一，因此我認爲進入視頻會議將會是一個學好傳輸技術的絕好機會。再後來，直播行業迅速發展，用戶分佈在不一樣地區和國家，音視頻傳輸要適應在不一樣的網絡環境下具備低延遲、高併發和高可用性的特性，特別是互動直播比起視頻會議的技術難度會更高，因此我選擇去了有億萬級直播用戶的YY。在音視頻領域摸爬滾打10年後，我意識到音視頻將會成爲像水電同樣的基礎設施，把音視頻雲作成一種基礎設施那將會更富有挑戰性和意義，這也是我如今在即構工做的一大緣由。在這個領域填了一些坑，也挖了不少坑，爲了將這些坑填上，那只有選擇一路「坑」下去了。併發
LiveVideoStack：回顧過去這10多年，多媒體技術不斷迭代，公司起起落落，能夠用哪些技術或其餘關鍵詞來總結呢？機器學習
黃開寧：ide
-
封閉->開放高併發
-
私有云->公有云工具
-
企業應用->我的應用
-
單向直播->互動直播
-
標清->高清->超高清
LiveVideoStack：學習多媒體開發的技術人廣泛的感觸是「門檻很高，學好更難」。但有過多年多媒體開發經驗的「老鳥」卻認爲，如今學習多媒體開發相比10年前容易太多了。果然如此嗎？對於學習多媒體開發，你有哪些學習建議？有哪些文檔、圖書、資料推薦？
黃開寧：因爲這些年好比直播、短視頻和實時互動語音等多媒體應用發展迅速，有了大量實踐的機會。同時開源社區和技術問答網站也很是活躍，還有像LiveVideoStack此次舉辦的WebRTC大會，這種類型的分享大會和沙龍愈來愈多，你們能夠從更多的渠道獲取到技術相關的諮詢和經驗，因此入門確實比較容易了。但一些核心技術，依然是「門檻很高，學好更難」，因此我認爲「容易」是相對的。舉個例子: 語音處理(AEC/NS/VAD/AGC)是你們認爲最難的技術之一，Google在2011年就開源了WebRTC項目，裏面就包含了這些語音處理的實現技術，按理咱們能夠直接拿來用或者研究優化。但事實是，直到今天，能很好解決回聲消除的團隊或者公司其實都很是少，若是不能很好地解決掉這些問題，是沒法開發出優秀的實時互動類的應用的。
並且如今的應用場景愈來愈廣，受衆也從區域到全球化，用戶指望有更多更有趣的玩法，迭代週期也在縮短，促使咱們在技術方面要不斷地創新和突破，這一樣是件很是難的事。
關於學習建議，不一樣方向的學習路徑可能不太同樣，並且如今技術發展速度很是快，因此我認爲只有紮實的基本功才能以不變應萬變。多媒體技術主要涉及圖形圖象處理、語音處理和網絡傳輸，而這些技術又主要和信號處理、統計和數理分析相關，因此學好這些基本功纔能有機會去解決那些「核心技術」。其次，如今有不少優秀的開源項目，好比WebRTC、FFmpeg和OBS等等，能夠經過閱讀和分析源碼來提高本身的技術。
LiveVideoStack：在你的自我介紹中提到，2012年起開始對WebRTC技術進行研究和應用。是什麼樣的緣由促使你對WebRTC作研究？
黃開寧：當時咱們公司只有PC端和硬件終端的視頻會議產品，可是智能手機(iPhone/Android)已愈來愈普及，因此公司決定推出移動端APP並讓我負責組建團隊，公司自己沒有移動端開發人員儲備，在市場上熟悉移動端開發又精通實時音視頻技術的開發人員也招聘不到，因此咱們只能從零開始學習和開發。恰好Google在2011年開源了WebRTC項目，這個項目有咱們最須要學習和借鑑的2項技術: 跨平臺和移動端語音處理(AECM)。當時我就把WebRTC裏的音視頻採集播放模塊和一些語音處理模塊提取出來用到了咱們的項目中，並進行了一些優化，這樣咱們大概只用了半年時間就成功推出了Android和iOS端的產品。
因爲我一直從事音視頻引擎開發，WebRTC項目裏面的模塊都是我平時工做相關和研究的內容，好比它的AudioProcessing、NetEQ、JitterBuffer和BWE等模塊都是很是值得研究學習的技術；同時我也認爲在瀏覽器原生支持實時音視頻能力是一件很是cool的事，並且必定會成爲一種趨勢，因此這些年也一直關注WebRTC進行研究學習。
LiveVideoStack：WebRTC在2017年末完成了1.0版定稿，這對WebRTC的生態意味着什麼？你認爲有WebRTC的功能與成熟度還存在哪些不足？
黃開寧：早期WebRTC能夠說只是Google的一個開源項目，或者說是Chrome一個實時音視頻能力的插件；如今咱們說的WebRTC是一個通信標準，1.0版定稿則代表WebRTC獲得了廣大廠商的支持承認，WebRTC也將會從實驗階段走向應用階段。從Edge到Safari支持WebRTC，就能夠預見，未來會有更多的瀏覽器廠商支持WebRTC。既然它是個標準，那說明任何廠商均可以支持它，只要遵循標準就能和其餘應用進行互連互通。
WebRTC的不足主要體如今如下幾點：
1. 雖然如今Chrome、Firefox、Opera、Edge和Safari都支持了WebRTC，但各自的實現卻有不一樣, 因此也會有兼容性問題；
2. 因爲不一樣硬件和系統組合很是多，也會形成音視頻採集播放設備兼容性問題；
3. 接口還不夠開放。WebRTC本來是用於點對點，或者多方實時通話的技術，如今用戶也但願能用於直播等有娛樂性的應用開發，好比增長音視頻前處理(美顏、特效、混響等)功能；
4. 沒有一個成熟的WebRTC服務器或者Gateway(媒體方面)。
LiveVideoStack：展望將來1-2年，除了教育、直播，你看好WebRTC哪些應用場景？
黃開寧：如今幾乎全部操做系統都安裝了瀏覽器，這樣用戶就能夠隨時隨地經過WebRTC來進行音視頻通訊，而並不須要預先安裝一個特定的APP，因此我認爲跟這種需求比較接近的場景會先獲得應用，好比客服系統和遠程救援等。
LiveVideoStack：可否介紹下你和你的團隊在WebRTC的研發方向？
黃開寧：當前咱們團隊在自研一套通用的WebRTC-Gateway系統，用於和咱們現有的協議對接，這些協議包括即構的私有媒體協議和RTMP等標準協議，這樣能夠幫助用戶和現有系統進行互連互通。其次是將WebRTC-Gateway網關接入到咱們即構全球分發調度和智能路由系統，知足用戶低延時、高可用性和大規模實時分發的需求。
LiveVideoStack：如今開始學習WebRTC，是個好時機嗎？
黃開寧：1.0標準的定稿、Edge和Safari支持WebRTC，廠商對WebRTC的支持也愈來愈完善，說明這個趨勢開始從潛伏期轉向成長期，因此說如今是開始學習WebRTC的最好時機。
LiveVideoStack：展望2018年，你認爲哪些技術將成爲音視頻領域的熱門？
黃開寧：當前音視頻應用已經很是普及，同時用戶也對這些應用體驗有更多期待。應用開發廠商會藉助深度機器學習在圖形圖象處理和聲音處理等領域進行新的嘗試和突破，作出各類新奇的特效知足用戶需求。最後，VR也將迎來2.0時代，相信VR直播也將迎來新的機遇。
LiveVideoStack：新的Codec（AV一、HEVC），5G網絡以及4K視頻普及，對WebRTC而言有哪些機會和挑戰？
黃開寧：就機會而言，因爲HEVC的專利結構複雜，致使費用高，以及複雜的算法等因素讓解碼端異常吃力，因此我認爲在瀏覽器端短時間內不太可能支持HEVC。AV1的1.0版也已定稿，它是開源和徹底免費的，並且像Google、微軟和Mozlla等瀏覽器廠商，以及Intel、AMD和NVIDIA等硬件廠商都參與其中，因此我認爲它更可能會在瀏覽器中使用，這樣高清以及超高清的應用也能經過WebRTC來實現。
5G網絡的普及極可能會帶來音視頻應用的再一次爆發，這樣會有大量應用基於WebRTC來實現，可能會促使WebRTC進入一個快速發展時期。
挑戰方面，因爲Codec是須要各個瀏覽器支持後才能互通的，如今各個廠商都有本身的實現和一些利益考慮，因此可否同時支持和支持的友好程度也將是一大挑戰。4K超高清則表示須要更高的分辨率、更高的碼率和幀率，當前的實現是否能支持也是個考驗。
WebRTCon 2018
WebRTCon 2018將於5月19-20日在上海光大國際會展中心舉行，這是一次對過去幾年WebRTC技術實踐與應用落地的總結。
WebRTC自然不具有服務端能力，如何實現高性能、穩定的服務端能力成爲繞不過的話題。5月20日，即構科技音視頻技術資深架構師黃開寧將出席「WebRTC服務端開發」專題活動爲你們分享即構科技在自研WebRTC網關上的經驗和教訓。活動報名請點擊底部閱讀原文。
關於即構
即構科技於2015年由QQ前總經理林友堯創立，A輪得到IDG投資，核心團隊來自騰訊QQ，匯聚了來自YY和華爲等廠商的頂尖語音視頻人才。即構ZEGO致力於提供全球最清晰最穩定的實時語音視頻雲服務，助力企業業務創新，改變用戶線上溝通方式。即構ZEGO深耕視頻直播、視頻社交、遊戲語音、線上抓娃娃和在線教育等領域，贏得了映客、花椒直播、一直播、喜馬拉雅FM、陌陌遊戲、自由之戰二、和好將來等頂級廠商託付和信賴。