開發一個實時音視頻通訊系統，你須要什麼技術儲備？

RTC(real time communication)實時通信系統是最近互聯網應用的一個新領域。RTC系統的應用極其普遍，咱們常見的視頻電話，會議系統，遠程桌面與控制都是RTC系統的一個應用。在移動互聯網飛速發展的今天，各類應用都渴望加入RTC的功能，實現用戶與企業，用戶與用戶之間的音視頻交流。因而問題出現了，開發一個RTC系統須要什麼技術儲備？

有人說只須要懂javascript就能夠了。WebRTC的出現極大的下降了RTC的開發門檻。只須要編寫javascript代碼就能夠實現瀏覽器之間的音視頻通話。且不論通話質量，瀏覽器的兼容性，網絡穿透能力，那些不使用HTML的原生APP怎麼辦？

又有人提出WebRTC也支持Native開發，只要有懂C++和相關應用平臺（Android，iOS，Windows，Mac）開發的軟件工程師就能夠了。WebRTC確實能夠在這些平臺上開發原生的應用。將WebRTC編譯打包後嵌入APP能夠實現RTC的功能，就是說能通了。但一個合格的RTC系統僅僅是能通就能夠了嗎？

以音視頻通話爲例，用戶指望的RTC應用應該是：通話不卡不掉低延時，聲音清晰真實無回聲，畫面流暢清晰無卡頓。若是直接採用上面WebRTC集成，咱們很容易發現，在大多數狀況下，通話並不像原來想象的那樣完美。因爲網絡的緣由，通話斷斷續續，延時很大。因爲終端的適配很差，語音通話回聲嚴重，噪聲嚴重影響體驗。視頻不清楚，不流暢。

RTC系統的每個部分都須要優化，須要打磨，才能打造出完美的用戶體驗。如今的問題是，開發一個優秀的RTC系統須要具有哪些技術儲備呢？

先看終端方面。解決語音通話的問題，首先須要有合適的語音編解碼器，而後須要調整音頻處理模塊的算法。這裏面內容比較廣，有噪聲消除，回聲抑制，自動增益。比較前沿的還有多麥克風降噪，盲擴加強等等。總之這些都須要算法的儲備，涉及語音信號處理、統計信號處理等方面的內容。有了算法還不夠，還須要有好的實現。各個平臺（Android，iOS，Windows，Mac）底層音頻系統也須要深刻了解。有時候算法挺好的，但有些機器先天不足，比較特別，須要特殊處理。這須要投入許多人力物力對各類型號的硬件作適配。優秀的系統可能須要適配幾百上千個不一樣的設備。

一樣的，對於視頻，咱們須要對視頻編解碼器有深刻的瞭解。這樣才能用最低的碼率展現清晰的視頻畫面。視頻的先後處理，好比降噪，加強（包括流行的美顏）也少不了。這就須要圖像與視頻信號處理。視頻數據量比較大，對底層視頻設備也須要深刻研究。適配也少不了。

說完了終端，再說說網絡。網絡抗丟包是必備選項。互聯網不是一個可靠的實時音視頻傳輸網絡。在不可靠的網絡中實現可靠的音視頻傳輸考驗系統設計的能力。這裏既有信道編碼的理論也有網絡對抗的實際經驗。

若是要實現可靠的雲服務，遍及全球的服務器網絡也必不可少。高可用性，負載均衡等等。。。

如今咱們知道開發一個RTC系統須要什麼技術了。這個系統涉及到幾乎全部的網絡與音視頻處理的理論與實踐。

---

做者簡介：

鄭仲侯 聲網Agora.io音視頻構架師碩士畢業於上海交通大學電子工程系，信號處理專業。前後在National Instruments，SRS，DTS工做十餘年。專一信號處理算法與實踐，加入Agora後從事音視頻引擎的開發，持有雙麥降噪專利。