如何在小程序上增長音視頻？

歡迎你們前往騰訊雲+社區，獲取更多騰訊海量技術實踐乾貨哦~

本文首發在雲+社區，未經許可，不得轉載。

做者：常青|騰訊視頻雲終端技術負責人

2017年第四季度，騰訊雲終端團隊和微信合做，將騰訊雲多年積累以SDK的形式落到微信上，從而開放了音視頻能力。今天我主要跟你們介紹一下關於小程序的音視頻，而後先作一下自我介紹。我也是騰訊雲的同窗，咱們有一個很是不錯的視頻雲，你們看到的直播、點播包括實時通話等場景應用都是在騰訊視頻雲落地的。我這邊主要負責視頻雲終端技術這一塊的事情，這一塊今天也是圍繞着老本行，跟你們談一談咱們怎麼樣把音視頻技術在小程序上進行落地。

今天主要是這幾個部分，首先咱們爲何要幹這個事情？由於不少朋友就說騰訊雲講這個東西一點不感興趣我不要聽，由於並無那個需求。其實咱們能夠看一下再說，這裏面有不少細分的場景，有不少的商業價值和挖掘空間的。

值得注意的是今天的主題主要講原理，講一下技術路線。這一塊主要是分享了，沒有太多打廣告的意思。若是你們有時間能夠耐心的聽下來，我以爲是不錯的。若是你以前沒有了解過，我估計聽下來你也能夠成爲半個音視頻專家。最後我講一講快速的落地，黃老師剛說的WEBRTC我一直在用，它能夠實現一個目標，讓我一我的能夠搞定一個很不錯的東西，在此以前至少是兩我的，一個前臺一個後臺。

小程序的優點你們都知道，沒有安裝成本，好比說平時去刷的百度的貼吧，你點開廣告你就沒有慾望去繼續下載了。這些廣告都是須要閃現的，到底有多少人裝？這是一個數學遊戲。

還有一些低頻剛需的場景，若是你真的解決了APP的安裝問題，好比說剛纔黃老師也講的摩拜單車，你之前沒裝APP，若是在多裝這個APP真的會崩潰。因此這個時候這個場景就頗有用。還有一個其實剛纔說過，廣告效應很是好，你們有沒有刷朋友圈的時候遇到長按掃描二維碼進入咱們的介紹頁或者介紹的小程序的狀況，有不少的廣告在小程序就是經過這個方式進行傳播的。第一是在朋友圈傳播的效果其實會容易，第二信息的傳遞比較好。

它既然有那麼多好處，我這邊天然會想咱們的音視頻這一塊田地怎麼去結合，如何去作這麼好的場景？說咱們有直播、點播還有音視頻的應用。直播如映客、花椒、鬥魚等，點播如優酷、土豆、愛奇藝，還有視頻，微信上你們開視頻會議。這些場景結合微信小程序有很大的市場前景？

雙面音視頻

說一下雙面音視頻，若是兩我的聊就是兩個朋友或者關係很好的人，這叫交友。可是若是放在企業裏面，放在客服系統上這就徹底不同了，好比在線的客服系統，就有很大的優點，相比於傳統的一些電話系統。咱們能夠看這樣一個場景，早晨開車上班，遲到了老闆沒有等到回報，很着急。這時候車擦了，你等着定審的人過來，堵塞交通一兩千就罰掉了。這個時候特別但願在線視頻就能夠解決。咱們有不少客戶嘗試使用APP解決相關問題。可是不少用戶抵觸心理很強。若是這個時候你跟他說點個連接，在小程序裏面搜一個什麼什麼保險，就能夠完成這個簡單的流程，後續接入視頻通話，在這裏拍一個照，而後那邊定損人員一看你權責，他權責，這樣保險公司和用戶都很喜歡。

再講一個遠程評審，以前咱們跟法院合做還有這樣的案例。法院在大城市裏，原告被告分別是農村兩個小夥子，由於一點瑣碎的事情吵架。其實法院只須要簡單遠程作一個事情，這麼一點小事，你非到大城市裏面打官司，一場官司沒有那麼容易打的。後續還要來回跑好幾趟。如今農村4G和WIFI覆蓋面也不錯，法院只須要遠程解決的事情，這裏面有很大的商業空間和利潤空間。

這些場景有不少的能夠結合的點，咱們的功能很是多，直播、點播都有，這個成本很低。

原理

我今天的重點就是講一下原理，這一部分實際上是重頭戲。

這一塊實際上在講這個東西以前先說一下故事，跟微信團隊也是有一個合做，當時咱們但願騰訊雲的技術直接放在微信的APP裏面去。微信的同窗就說咱們提一些要求，就是像美國的國防部給別人去提要求，你須要達到多少技術指標，要求很是高的。微信提了幾個標準，第一簡單易用，第二要可擴展、可定製，咱們的開發者能夠拿到作各類場景的需求，第三實現音視頻直播，第四，第5、第6、第7、第8、第九，我以爲這個需求太誇張了。

我這我的喜歡被挑戰。你知道前蘇聯卡拉斯克夫曾經作了一把很牛的槍，這個武器在當時越南打阻擊主要的武器，其實很大一個就是在設計理念上簡單。像阿富汗那個小做坊幾個老頭就能夠作。第二可靠；從不卡殼，關鍵時刻站住，一按就出來。不像印度造的槍，該打的時候打不出火來。威力很厲害。這把槍的設計理念咱們應該去延續。

咱們也在想，咱們能不能去想一想怎麼設計這樣一個理念，作這樣頗有優點的一個解決方案。最後結果固然比較理想，咱們算是朝這個方向作了一些努力，也作了一些成績。

首先技術架構就不說了，說說咱們在微信裏面內嵌了音視頻組件吧，它是一個無償使用的版本，這個產品咱們已經打磨了已經有兩年多了，並且如今每月都一兩次更新。並且這裏面SDK有兩部分組成的，一個是音視頻上行，另外一個是音視頻下行。

上行解決什麼問題？上行叫推流，就是把本地的畫面通過採集而後進行預處理，有人可能問處理要幹什麼？好比說美顏，這個很接地氣的需求。再有要降噪，聲音也須要降噪，可能音頻其餘背景很很差的狀況下，聽着也很不舒服了。而後再進行編碼，咱們須要以數量級十倍、二十倍把這個數據量壓下去。再最後經過網絡模塊傳到雲端上去，如今基本上音視頻研發都是依賴於這個的，可是效果和穩定性都比較查，不過如今網絡成本已經開始降下來了，因此不必再這樣作了，如今直接就可使用騰訊雲。

而後下行，俗稱拉流。原來上去的，如今下來，這個就叫播放。播放的話，其實就是從上至下，尤爲是網速時快時慢時候，你會發現播放一卡一卡的，這種效果優化就很差，因此必定要加一個緩存，像一個蓄水池同樣，合適的時候在優化，再進行解碼，進行渲染。

有了上行，有了下行，有了播放，這就是架構。微信裏面從標籤到下面的SDK，再到網絡再到另外一端，這樣就把這個鏈路串起來了。有了鏈路以後咱們至關於有了兩個基本的原則，就能夠組合成多彩的事件。

技術演化，第一個就是播放對應上行，有了這兩個標籤以後咱們靠雲在中間就進行直播功能，就是你們看到映客、鬥魚、花椒等能夠體驗一下，基本上能夠把該有的東西都作到，包括各方面的這些消息、還有各方面的延遲都是很好的，可是全屏效果不如作的原來的作的好。

這個方案爲何我說要加個雲呢？我手裏的這個麥，是整個會場的音頻系統的一個部分，它負責把聲音採過去，其實就像我剛纔說的推流，進行一個處理。我估計在這個地方會有一個數字處理電路，會對聲音進行一些清洗相應的整合，而後再教給後面的系統進行逐級放大。逐級放大是什麼程序？可能咱們騰訊雲的全國上萬臺機器，全國各地都要看要擴大到一萬臺機器。你能夠把雲當成信號放大器，將一個單點的圓，無限的拷貝，讓每個人都能在就近的一個機房裏面拉到一個高質量的音視頻流，這樣就能夠解決卡頓的問題和流暢性的問題。

當您有了這樣一個放大器以後，加上上行和下行，才能構建出一個高併發的解決方案。好處是比較便宜，像騰訊雲價格能夠看一下，價格很低。再加上它的質量很不錯，並且能夠作多清晰度的切換，可是由於有很大的數據，因此延遲至少2秒以上。

接下來咱們就開始作能力+，作升級。直播場景搞出來了，可是DS場景還須要作的。DS場景何時須要？我如今要作遠程調控，2017年在線夾娃娃場景，要求是極其苛刻，這個延遲是極高的，300毫秒行不行？若是你能作到100毫秒真的很牛，因此咱們要加科技點了。咱們想了兩個方案，一個是UDP加速，一個延時控制。娃娃機是一個遠程遙控，正常看是2到5秒，真正的機器要求是500毫秒之內把它傳遞到機器那面過去。這個其實咱們要須要作什麼樣額外的科技點的積累呢？UDP協議當時設計者設計的時候是本着天下爲公的理念。因此你們的理念就是你讓一讓，我讓一讓，這個場景就變成一個問題，稍微一堵，它就開始網速就下來了。你來作高延時的場景是會被傷掉的，有時候很是但願脾氣硬一點。那怎麼辦呢？咱們可能要換一下，我用UDP。當網絡差我也要繼續發。第二個顏色控制，這個功能其實讓咱們騰訊雲在去年年末作風險大會的時候，解決方案是傲視羣雄的，延遲控制不用對着時間戳，所以咱們保證了直播到觀衆的延遲控制在3s之內。

有了這樣一個鏈路，遠程的遙控、遠程的互動均可以作，可是這仍是單向的。

有了單向的東西，又延遲又很低，我跟你一路延遲很低的單向，你再跟我一路，我們這個事情是否是就搞定了？因此專業音視頻功能就出來了？其實沒有那麼簡單，咱們還須要修不少的科技點。噪聲、消除、迴音抑制等。

我們先說一路上行，一路下行是單向，兩路就RTC模式，如今模式選擇RTC以後，兩邊的延遲都是500毫秒，雙向通話就能夠解決了，背後在技術層面咱們須要作這樣一個東西。好比說假設個人延遲有點大，那麼延遲控制小一點不行嗎？可是數據丟了效果必定很是差。大學的時候老師會說音視頻解決方案你用UDP就好了，可是壓縮後的編碼和數據真要丟了就解不出來了，因此真不能丟。那怎麼辦呢？咱們可能就是要在你察覺不到的地方把時間給縮回去。我如今在說四五十分鐘的演講，中間漏掉一兩個字你們都能接受。咱們作的是刪掉多餘的時間空隙，人說話裏面是有大量的空隙是能夠作文章的。好比說咱們能夠在這各點上作點文章，把咱們認爲不過重要的數據切掉，這樣的狀況下聲音也沒有褶皺，，感受跟原來有一點點不同，可是內容很正常。因此在這種狀況下咱們的時間也壓回去了。

雙向音視頻的時候有時候會有破音、爆音的問題，解決這種問題的時候功能學的角度也是比較簡單的，我要把聲音變的柔和一點，作一些回聲抑制，好比說我如今說話，你看他沒有一個勁的循環，其實裏面是有迴音消除的電子元件的。咱們要上就是軟件解決方案，就是把原本播出去的聲音給它消除掉，這樣就會作到回聲抑制，不然兩我的打電話就會聽到無限回聲。

以上聲學處理的部分不是一兩天能搞定的，，這一塊以你可能要養一個研發團隊，這個團隊有不少聲學專家、音視頻專家，如今小程序有好處就是RTC搞定。我以爲咱們仍是作了一件相對比較技術普世的東西。

有了這個雙向音視頻以後，咱們繼續把技術往上提，把房間這個IM也拉下來。由於雙人你一路我一路，很簡單，很清晰，多人的時候，就很麻煩，因此不能這樣玩，因此須要一個總控系統，去協調各個端的狀態，協調各個端的輸出，而後包括誰說話，誰不說話進行一些協調，這個就須要有一個房間的概念，房間的管理。再加上IM，作的程序，就能夠把多人的解決方案搞定了。

其實多人解決方案裏面服務端要多作一些事情，還須要一個相似於房間管理的概念，把A、B、C三我的拉里面，進行狀態同步。咱們其實在小程序裏面沒有內置這麼多的東西，其實有一點是說微信以簡單爲主，不要搞的那麼複雜。因此就提了一個rtcroom解決方案，就是附及一些額外的邏輯，這一塊在騰訊雲移動直播解決方案裏面是能夠找到相應的東西的，或者在小程序音視頻裏面也能夠找到相應的資料。

 

​這一部分說完咱們整個技術路線就走下來了，從簡單的直播到DNS再到雙向，其實大部分音視頻的場景均可以涵蓋了。可是這個時候有人跳出來跟我說，咱們作Webrtc的，蘋果也跟它搞在一塊兒了。這個時候咱們想說一下區別，而後咱們是怎麼優化Webrtc的。

區別的話，如今你若是直接在微信裏面去作Webrtc仍是有不少限制的，第一個瀏覽器內核，在不一樣的手機可能不太一致，碎片化嚴重。蘋果是內嵌，若是這個東西你要用的話，小程序沒辦法實施。目前在Webrtc這一塊它的任何功能的加持都是蘋果和谷歌兩邊達成一致，這個過程是很漫長的過程。因此在小程序這一塊就是作一些接地氣功能，不會去看蘋果爺爺和谷歌爸爸的眼色。

再有就是說在設計理念上也會有一些不一樣，Webrtc不少理念都是基於不可靠鏈構的，咱們小程序是能夠用比較廉價的雲解決的，這是跟Webrtc的對比。

咱們不是競爭，咱們實際上是能夠跟Webrtc能夠搞成一家的。騰訊雲後臺最近打算把兩套系統打通，微信4月份版本發佈以後，大家就能夠在小程序上和Chrome進行互通。這一部分有點難，有興趣的朋友能夠看一下解決方案仍是有技術含量的。

說到打通以後，這涉及到另外一套解決方案，小程序+Webrtc，這一塊在原來基礎上把協議換成rom打頭的就能夠了。

快速上手，原來須要給他搭後臺，搭前臺，很是痛苦，如今你們能夠直接在黃老師的系統上直接能夠找到相應的包，咱們能夠把裏面的包傳上去。並且調試特別方便。我今天分享就到這兒，看看你們有什麼問題。

QA:

Q：我做爲一個我的開發者，好比看有時候我的開發者一些開放內幕，好比說音視頻相關的這些沒有開放，我想開發這樣的產品，它須要辦理資質的成本很高。因此小程序在音視頻這方面未來會不會更開放，讓成本更低一點。

A：好像有一些比較簡單的，你看直播內幕是很難。實際上我是很是但願它全開放的，我也主動找了好幾回微信的領導談這個事情。微信的同窗給我說了一個很現實的擔心，之前作APP若是出現涉黃涉政跟APP不要緊，因此這個問題他們是很是謹慎的。這裏面其實資質的提交核心就是一個問題，若是出現問題靠這個資質咱們會在這邊作一個控制手段，它只是想作一個自保的方案。我的開發者是我的相關調試的能力，還有一些內幕的話，相應來講實際上是比較容易去提交上去的。

Q：點播和直播都會在中間加上緩存作嗎？

A：實際上緩存是比較少的，像優酷、土豆是點播，視頻是傳上去，你能夠從中間看，開頭看，這是點播。直播是我如今攝象頭開着，實時往上傳，若是你多了以後可能產生跟高的延遲。騰訊內網是打通的，不必作那麼多緩存，真正緩存主要是你們剛剛看到播放這一塊，這一塊會有咱們的緩存區，這裏面有一系列的優化算法，這個是多大而後來去作緩存。其實整個系統裏面惟一的緩存就這一塊。

Q：我剛纔想加緩存就是延遲性變高了。還有常老師提到涉黃涉政這一塊，您在演講的時候說對聲音處理就能夠作到每秒鐘間隔就能夠停調了，作視頻的時候，會有一些美顏，這樣這些內容大家的把控性其實很高的。這樣的話，在中間到了相似於關卡那種，檢測出涉黃涉政的直接就能夠屏蔽掉了。

A：如今有這種系統，這種系統須要人爲干預。我如今是這樣一個態度，目前還沒到徹底撒手無論的狀態，如今是有誤報的，主持人多是個人狀比較黃，因此涉黃了，這就須要人爲過一道，這裏面就有延遲。先把人爲舉報到檢測系統，觀衆越多的線路，你誤報產生的代價越高。

Q：由於在作直播的話，雖然能夠作一些涉黃、視頻的處理，經過一些AI和監控，咱們有沒有可能作一些錄播，若是一旦出現什麼事情的話咱們還要出現一些舉證。您說的東西在咱們平臺上是有直接的需求的。

A：是錄播嗎？

Q：直播的狀況下有沒有可能錄播？

A：這個確定沒問題，由於全部過雲的，只要您說開一個按鈕開了就能夠全錄下來，或者說從幾點到幾點錄這個都是沒問題的。可是在雲解決方案的時候你能夠把它搬過來，就是在技術含量比較高的地方，你要把音視頻從新緩一下，好比說金融開戶、還有法院都是錄下來的，惟一問題是錄是有成本的，是須要付費的。咱們相應推錄製的時候政用是開放的，商用就不是開放的。 其實像咱們不少大客戶一年成本帶寬佔一部分，還有他存一個月，這個量很是大。

 

問答

短視頻能夠經過什麼技術接入小程序？

相關閱讀

劉翌：如何利用小程序技術解決企業銷售難題

李明：微信小遊戲技術分享

餘國良：微信小遊戲的架構設計與開發

 

此文已由做者受權騰訊雲+社區發佈，原文連接：https://cloud.tencent.com/developer/article/1084503?fromSource=waitui