Web實現音頻、視頻通訊

Google開源實時通訊項目WebRTC

Google正式開源了WebRTC實時通訊項目，但願瀏覽器廠商可以將該技術內建在瀏覽器中，從而使Web應用開發人員可以經過HTML標籤和JavaScript API就實現Web音頻、視頻通訊功能。

WebRTC（Web Real Time Communication）並非Google原來本身的技術。在2010年，Google以大約6820萬美圓收購了VoIP軟件開發商Global IP Solutions公司，並所以得到了該公司擁有的WebRTC技術。現在，互聯網的音頻、視頻通訊服務技術通常都是私有技術，如Skype， 須要經過安裝插件或者桌面客戶端來實現通訊功能。Google但願Web開發人員可以直接在瀏覽器中建立視頻或語音聊天應用，Global IP Solutions公司以前已經針對Android、Windows Mobile、iPhone製做了基於WebRTC的移動客戶端。Google這次將WebRTC開源出來，就是但願瀏覽器廠商可以將該技術直接內嵌到瀏 覽器中，從而方便Web開發人員。

WebRTC的博客說明了WebRTC的優點和發展方向：

直到如今，實時通訊仍然須要私有的信號處理技術，大部分都是經過插件和客戶端來安裝使用。咱們經過WebRTC開源了收購GIPS後得到的音頻、視頻引擎技術，讓開發人員可以瞭解信號處理技術，並使用了BSD風格的受權。這會支持開發人員經過簡單的HTML和JavaScript API建立音頻和視頻聊天應用。

咱們正在與其餘瀏覽器開發廠商Mozilla和Opera等緊密合做，儘快在瀏覽器中實現這項技術以便於Web社區使用。此外，咱們還積極地參與IETF和W3C工做組的活動，定義和實現一套實時通訊標準。

其官網上列表了使用WebRTC技術的四個理由：

1. 互聯網成功的一個關鍵因素是一些核心技術如HTML、HTTP和TCP/IP是開放和免費實現的。目前，在瀏覽器通訊領域尚未免費、高質量、完整的解決方案。WebRTC就是這樣的技術。
2. 該技術已經集成了最佳的音頻、視頻引擎，並被部署到數以百萬級的終端中，通過超過8年的磨練。Google不會從該技術中收取費用。
3. 包含了使用STUN、ICE、TURN、RTP-over-TCP的關鍵NAT和防火牆穿越技術，並支持代理。
4. 構建在瀏覽器中，WebRTC經過提供直接映射到PeerConnection的信號狀態機來抽象信號處理。Web開發人員所以能夠選擇適合應用場景的協議（例如：SIP、XMPP/Jingle等等）。

WebRTC的架構圖以下所示：

 

圖 1  WebRTC架構圖（圖片來源：WebRTC官方網站）

關於架構圖的組成部分，包括：

Web API——第三方開發人員用來開發基於Web的應用，如視頻聊天。
WebRTC Native C++ API——瀏覽器廠商用於實現Web API的函數集。
Session Management——抽象session層，支持調用構建和管理層，由應用開發者來決定如何實現協議。
VoiceEngine——音頻媒體鏈的框架，從聲卡到網絡。
iSAC——一種用於VoIP和流音頻的寬帶和超寬帶音頻編解碼器，iSAC採用16 kHz或32 kHz的採樣頻率和12—52 kbps的可變比特率。
iLBC——用於VoIP和流音頻的窄帶語音編解碼器，使用8 kHZ的採樣頻率，20毫秒幀比特率爲15.2 kbps，30毫米幀的比特率爲13.33 kbps，標準由IETF RFC 3951和3952定義。
NetEQ for Voice——動態抖動緩存和錯誤隱藏算法，用於緩解網絡抖動和丟包引發的負面影響。在保持高音頻質量的同時儘量下降延遲。
VideoEngine——視頻媒體鏈的框架，從相機像頭到網絡，從網絡到屏幕。
VP8——來自於WebM項目的視頻編解碼器，很是適合RTC，由於它是爲低延遲而設計開發的。
Image enhancements——消除經過攝像頭獲取的圖片的視頻噪聲等。
其餘更詳細的架構分析能夠查看這裏的文檔。

PeerConnection位於WebRTC Native C++ API的最上層，它的代碼實現來源於libjingle（一款p2p開發工具包），目前被應用於WebRTC中。其中關鍵的兩個類定義是：

class  PeerConnectionObserver {
public:
 virtual void OnError();
 virtual void OnSignalingMessage(const std::string& msg);
 virtual void OnAddStream(const std::string& stream_id,
                          int channel_id,
                          bool video);
 virtual void OnRemoveStream(const std::string& stream_id,
                             int channel_id,
                             bool video);
};

該類定義了一個抽象的觀察者。開發人員應該繼承實現本身的觀察者類。

class  PeerConnection {
public:
 explicit PeerConnection(const std::string& config);
 bool Initialize();
 void RegisterObserver(PeerConnectionObserver* observer);
 bool SignalingMessage(const std::string& msg);
 bool AddStream(const std::string& stream_id, bool video);
 bool RemoveStream(const std::string& stream_id);
 bool Connect();
 void Close();
 bool SetAudioDevice(const std::string& wave_in_device,
                     const std::string& wave_out_device);
 bool SetLocalVideoRenderer(cricket::VideoRenderer* renderer);
 bool SetVideoRenderer(const std::string& stream_id,
                       cricket::VideoRenderer* renderer);
 bool SetVideoCapture(const std::string& cam_device);
};

具體的函數說明能夠查看相應的API介紹。

正如Google所說的，它一直在參與制定和實現HTML 5標準中的視頻會議和p2p通訊部分，雖然還不是正式標準，可是咱們能夠從草案的示例中看到將來Web開發人員的使用狀況：

// the first argument describes the STUN/TURN server configuration
var local = new PeerConnection('TURNS example.net', sendSignalingChannel);
local.signalingChannel(...); // if we have a message from the other side, pass it along here
// (aLocalStream is some GeneratedStream object)
local.addStream(aLocalStream); // start sending video
function sendSignalingChannel(message) {
 ... // send message to the other side via the signaling channel
}
function receiveSignalingChannel (message) {
 // call this whenever we get a message on the signaling channel
 local.signalingChannel(message);
}
local.onaddstream = function (event) {
 // (videoElement is some <video> element)
 videoElement.src = URL.getObjectURL(event.stream);
};

目前有關Web實時通訊的技術標準正在制定當中，W3C的Web Real-Time Communication工做組今年五月份剛剛正式成立，並計劃在今年第三季度發佈第一個公開草案，從其工做組的路線圖中能夠看出，正式的推薦標準預計將在2013年第一季度發佈，有關W3C標準是否會對WebRTC項目的發展有所影響，將來還要看草案的具體細節。

Google但願開源的WebRTC技術可以得到愈來愈多的瀏覽器廠商支持，WebRTC的網站已經宣佈將在Chrome、Firefox和Opera上實現相應的API接口。Opera首席技術官Håkon Wium Lie對媒體表示，Google可以把價值不菲的代碼貢獻出來很是了不得，Opera一直但願可以在瀏覽器中實現實時通訊技術。

提到實時通訊技術，不得不讓人想起行業巨頭Skype。巧合的是，就在前不久，微軟剛剛斥資85億美圓現金收購網絡電話服務商Skype，當時有許多分析師指出，微軟的收購將直面Google的競爭：

…...收購也挫敗了競爭對手Google利用Skype技術完善通話服務的計劃。

MSN即時通信、必應（bing）搜索、網絡廣告等成了微軟在互聯網領域迎戰谷歌的三大陣地。然而，相對於谷歌在互聯網行業的呼風喚雨，微軟的互聯網戰略一直沒有真正展示出讓業界看到其可以挑戰谷歌的核心優點。

谷歌和蘋果都已經在網絡電話上投入了數年時間。蘋果一直在力推iChat和FaceTime，谷歌也在普及其網絡通訊相關產品Chat和Voice。不過，谷歌和蘋果都有一個共同的問題，他們很難在競爭對手的平臺上生存。蘋果用戶沒法和谷歌以及微軟的用戶進行視頻聊天，谷歌在跨 平臺方面作了不少努力，可是仍有很多障礙。

不過Skype則沒有這一問題，做爲免費服務的Skype能夠運行在蘋果、Linux以及Windows電腦上，也支持Android和iPhone等手機平臺，甚至能夠在電視機上運行。

收購Skype，微軟不只僅是爲了從中受益，微軟還但願藉此使Skype遠離谷歌的「魔爪」。若是谷歌收購了Skype，這對微軟來講無疑是一個沉重的打擊。想一想吧，若是谷歌收購了Skype，並將Skype整合進Google Apps、Gmail、Google Talk和Google Voice等谷歌產品之中，再想一想若是谷歌將Skype與Android平臺進行一些深度整合，這對微軟來講，無疑是一場災難。即使微軟並未很好的將Skype整合進自家產品之中，但這也避免了谷歌經過收購Skype來得到巨大的價值。

就在微軟收購Skype不久，Google就宣佈對WebRTC開源，這難免讓人有所聯想。有國外媒體評論說，Google這次開源是想讓廣大用戶遠離該行業的領導者如Skype和Apple的FaceTime平臺。經過瀏覽器來支持實時通訊技術，Google但願開發社區可以在本身的應用中集成該功能，從而削弱其餘對手。

這已經不是Google第一次大方地開源關鍵項目。去年，Google曾經將VP8視頻編解碼項目開源，以支持HTML 5技術中的視頻媒體播放。現在，多種主流瀏覽器都已經支持VP8格式，成爲主要的多媒體格式，相比伴隨着專利、付費糾紛的H.264，開放、免費的VP8更讓瀏覽器廠商放心。