Comet：基於 HTTP 長鏈接的「服務器推」技術(轉載)

時間 2019-11-29

原文原文鏈接

傳統模式的 Web 系統以客戶端發出請求、服務器端響應的方式工做。這種方式並不能知足不少現實應用的需求，譬如：php

監控系統：後臺硬件熱插拔、LED、溫度、電壓發生變化；
即時通訊系統：其它用戶登陸、發送信息；
即時報價系統：後臺數據庫內容發生變化；

這些應用都須要服務器能實時地將更新的信息傳送到客戶端，而無須客戶端發出請求。「服務器推」技術在現實應用中有一些解決方案，本文將這些解決方案分爲兩類：一類須要在瀏覽器端安裝插件，基於套接口傳送信息，或是使用 RMI、CORBA 進行遠程調用；而另外一類則無須瀏覽器安裝任何插件、基於 HTTP 長鏈接。html

將「服務器推」應用在 Web 程序中，首先考慮的是如何在功能有限的瀏覽器端接收、處理信息：java

客戶端如何接收、處理信息，是否須要使用套接口或是使用遠程調用。客戶端呈現給用戶的是 HTML 頁面仍是 Java applet 或 Flash 窗口。若是使用套接口和遠程調用，怎麼和 JavaScript 結合修改 HTML 的顯示。
客戶與服務器端通訊的信息格式，採起怎樣的出錯處理機制。
客戶端是否須要支持不一樣類型的瀏覽器如 IE、Firefox，是否須要同時支持 Windows 和 Linux 平臺。

回頁首web

基於客戶端套接口的「服務器推」技術ajax

Flash XMLSocket數據庫

若是 Web 應用的用戶接受應用只有在安裝了 Flash 播放器才能正常運行，那麼使用 Flash 的 XMLSocket 也是一個可行的方案。編程

這種方案實現的基礎是：瀏覽器

Flash 提供了 XMLSocket 類。
JavaScript 和 Flash 的緊密結合：在 JavaScript 能夠直接調用 Flash 程序提供的接口。

具體實現方法：在 HTML 頁面中內嵌入一個使用了 XMLSocket 類的 Flash 程序。JavaScript 經過調用此 Flash 程序提供的套接口接口與服務器端的套接口進行通訊。JavaScript 在收到服務器端以 XML 格式傳送的信息後能夠很容易地控制 HTML 頁面的內容顯示。服務器

關於如何去構建充當了 JavaScript 與 Flash XMLSocket 橋樑的 Flash 程序，以及如何在 JavaScript 裏調用 Flash 提供的接口，咱們能夠參考 AFLAX（Asynchronous Flash and XML）項目提供的 Socket Demo 以及 SocketJS（請參見參考資源）。

Javascript 與 Flash 的緊密結合，極大加強了客戶端的處理能力。從 Flash 播放器 V7.0.19 開始，已經取消了 XMLSocket 的端口必須大於 1023 的限制。Linux 平臺也支持 Flash XMLSocket 方案。但此方案的缺點在於：

客戶端必須安裝 Flash 播放器；
由於 XMLSocket 沒有 HTTP 隧道功能，XMLSocket 類不能自動穿過防火牆；
由於是使用套接口，須要設置一個通訊端口，防火牆、代理服務器也可能對非 HTTP 通道端口進行限制；

不過這種方案在一些網絡聊天室，網絡互動遊戲中已獲得普遍使用。

Java Applet 套接口

在客戶端使用 Java Applet，經過 java.net.Socket 或 java.net.DatagramSocket 或 java.net.MulticastSocket 創建與服務器端的套接口鏈接，從而實現「服務器推」。

這種方案最大的不足在於 Java applet 在收到服務器端返回的信息後，沒法經過 JavaScript 去更新 HTML 頁面的內容。

回頁首

基於 HTTP 長鏈接的「服務器推」技術

Comet 簡介

瀏覽器做爲 Web 應用的前臺，自身的處理功能比較有限。瀏覽器的發展須要客戶端升級軟件，同時因爲客戶端瀏覽器軟件的多樣性，在某種意義上，也影響了瀏覽器新技術的推廣。在 Web 應用中，瀏覽器的主要工做是發送請求、解析服務器返回的信息以不一樣的風格顯示。AJAX 是瀏覽器技術發展的成果，經過在瀏覽器端發送異步請求，提升了單用戶操做的響應性。但 Web 本質上是一個多用戶的系統，對任何用戶來講，能夠認爲服務器是另一個用戶。現有 AJAX 技術的發展並不能解決在一個多用戶的 Web 應用中，將更新的信息實時傳送給客戶端，從而用戶可能在「過期」的信息下進行操做。而 AJAX 的應用又使後臺數據更新更加頻繁成爲可能。

圖 1. 傳統的 Web 應用模型與基於 AJAX 的模型之比較

「服務器推」是一種很早就存在的技術，之前在實現上主要是經過客戶端的套接口，或是服務器端的遠程調用。由於瀏覽器技術的發展比較緩慢，沒有爲「服務器推」的實現提供很好的支持，在純瀏覽器的應用中很難有一個完善的方案去實現「服務器推」並用於商業程序。最近幾年，由於 AJAX 技術的普及，以及把 IFrame 嵌在「htmlfile「的 ActiveX 組件中能夠解決 IE 的加載顯示問題，一些受歡迎的應用如 meebo，gmail+gtalk 在實現中使用了這些新技術；同時「服務器推」在現實應用中確實存在不少需求。由於這些緣由，基於純瀏覽器的「服務器推」技術開始受到較多關注，Alex Russell（Dojo Toolkit 的項目 Lead）稱這種基於 HTTP 長鏈接、無須在瀏覽器端安裝插件的「服務器推」技術爲「Comet」。目前已經出現了一些成熟的 Comet 應用以及各類開源框架；一些 Web 服務器如 Jetty 也在爲支持大量併發的長鏈接進行了不少改進。關於 Comet 技術最新的發展情況請參考關於 Comet 的 wiki。

下面將介紹兩種 Comet 應用的實現模型。

基於 AJAX 的長輪詢（long-polling）方式

如圖 1 所示，AJAX 的出現使得 JavaScript 能夠調用 XMLHttpRequest 對象發出 HTTP 請求，JavaScript 響應處理函數根據服務器返回的信息對 HTML 頁面的顯示進行更新。使用 AJAX 實現「服務器推」與傳統的 AJAX 應用不一樣之處在於：

服務器端會阻塞請求直到有數據傳遞或超時才返回。
客戶端 JavaScript 響應處理函數會在處理完服務器返回的信息後，再次發出請求，從新創建鏈接。
當客戶端處理接收的數據、從新創建鏈接時，服務器端可能有新的數據到達；這些信息會被服務器端保存直到客戶端從新創建鏈接，客戶端會一次把當前服務器端全部的信息取回。

圖 2. 基於長輪詢的服務器推模型

一些應用及示例如「Meebo」, 「Pushlet Chat」都採用了這種長輪詢的方式。相對於「輪詢」（poll），這種長輪詢方式也能夠稱爲「拉」（pull）。由於這種方案基於 AJAX，具備如下一些優勢：請求異步發出；無須安裝插件；IE、Mozilla FireFox 都支持 AJAX。

在這種長輪詢方式下，客戶端是在 XMLHttpRequest 的 readystate 爲 4（即數據傳輸結束）時調用回調函數，進行信息處理。當 readystate 爲 4 時，數據傳輸結束，鏈接已經關閉。Mozilla Firefox 提供了對 Streaming AJAX 的支持，即 readystate 爲 3 時（數據仍在傳輸中），客戶端能夠讀取數據，從而無須關閉鏈接，就能讀取處理服務器端返回的信息。IE 在 readystate 爲 3 時，不能讀取服務器返回的數據，目前 IE 不支持基於 Streaming AJAX。

基於 Iframe 及 htmlfile 的流（streaming）方式

iframe 是很早就存在的一種 HTML 標記，經過在 HTML 頁面裏嵌入一個隱蔵幀，而後將這個隱蔵幀的 SRC 屬性設爲對一個長鏈接的請求，服務器端就能源源不斷地往客戶端輸入數據。

圖 3. 基於流方式的服務器推模型

上節提到的 AJAX 方案是在 JavaScript 裏處理 XMLHttpRequest 從服務器取回的數據，而後 Javascript 能夠很方便的去控制 HTML 頁面的顯示。一樣的思路用在 iframe 方案的客戶端，iframe 服務器端並不返回直接顯示在頁面的數據，而是返回對客戶端 Javascript 函數的調用，如「<script type="text/javascript">js_func(「data from server 」)</script>」。服務器端將返回的數據做爲客戶端 JavaScript 函數的參數傳遞；客戶端瀏覽器的 Javascript 引擎在收到服務器返回的 JavaScript 調用時就會去執行代碼。

從圖 3 能夠看到，每次數據傳送不會關閉鏈接，鏈接只會在通訊出現錯誤時，或是鏈接重建時關閉（一些防火牆常被設置爲丟棄過長的鏈接，服務器端能夠設置一個超時時間，超時後通知客戶端從新創建鏈接，並關閉原來的鏈接）。

使用 iframe 請求一個長鏈接有一個很明顯的不足之處：IE、Morzilla Firefox 下端的進度欄都會顯示加載沒有完成，並且 IE 上方的圖標會不停的轉動，表示加載正在進行。Google 的天才們使用一個稱爲「htmlfile」的 ActiveX 解決了在 IE 中的加載顯示問題，並將這種方法用到了 gmail+gtalk 產品中。Alex Russell 在「What else is burried down in the depth's of Google's amazing JavaScript?」文章中介紹了這種方法。Zeitoun 網站提供的 comet-iframe.tar.gz，封裝了一個基於 iframe 和 htmlfile 的 JavaScript comet 對象，支持 IE、Mozilla Firefox 瀏覽器，能夠做爲參考。（請參見參考資源）

回頁首

使用 Comet 模型開發本身的應用

上面介紹了兩種基於 HTTP 長鏈接的「服務器推」架構，更多描述了客戶端處理長鏈接的技術。對於一個實際的應用而言，系統的穩定性和性能是很是重要的。將 HTTP 長鏈接用於實際應用，不少細節須要考慮。

不要在同一客戶端同時使用超過兩個的 HTTP 長鏈接

咱們使用 IE 下載文件時會有這樣的體驗，從同一個 Web 服務器下載文件，最多隻能有兩個文件同時被下載。第三個文件的下載會被阻塞，直到前面下載的文件下載完畢。這是由於 HTTP 1.1 規範中規定，客戶端不該該與服務器端創建超過兩個的 HTTP 鏈接，新的鏈接會被阻塞。而 IE 在實現中嚴格遵照了這種規定。

HTTP 1.1 對兩個長鏈接的限制，會對使用了長鏈接的 Web 應用帶來以下現象：在客戶端若是打開超過兩個的 IE 窗口去訪問同一個使用了長鏈接的 Web 服務器，第三個 IE 窗口的 HTTP 請求被前兩個窗口的長鏈接阻塞。

因此在開發長鏈接的應用時，必須注意在使用了多個 frame 的頁面中，不要爲每一個 frame 的頁面都創建一個 HTTP 長鏈接，這樣會阻塞其它的 HTTP 請求，在設計上考慮讓多個 frame 的更新共用一個長鏈接。

服務器端的性能和可擴展性

通常 Web 服務器會爲每一個鏈接建立一個線程，若是在大型的商業應用中使用 Comet，服務器端須要維護大量併發的長鏈接。在這種應用背景下，服務器端須要考慮負載均衡和集羣技術；或是在服務器端爲長鏈接做一些改進。

應用和技術的發展老是帶來新的需求，從而推進新技術的發展。HTTP 1.1 與 1.0 規範有一個很大的不一樣：1.0 規範下服務器在處理完每一個 Get/Post 請求後會關閉套接口鏈接；而 1.1 規範下服務器會保持這個鏈接，在處理兩個請求的間隔時間裏，這個鏈接處於空閒狀態。 Java 1.4 引入了支持異步 IO 的 java.nio 包。當鏈接處於空閒時，爲這個鏈接分配的線程資源會返還到線程池，能夠供新的鏈接使用；當原來處於空閒的鏈接的客戶發出新的請求，會從線程池裏分配一個線程資源處理這個請求。這種技術在鏈接處於空閒的機率較高、併發鏈接數目不少的場景下對於下降服務器的資源負載很是有效。

可是 AJAX 的應用使請求的出現變得頻繁，而 Comet 則會長時間佔用一個鏈接，上述的服務器模型在新的應用背景下會變得很是低效，線程池裏有限的線程數甚至可能會阻塞新的鏈接。Jetty 6 Web 服務器針對 AJAX、Comet 應用的特色進行了不少創新的改進，請參考文章「AJAX，Comet and Jetty」（請參見參考資源）。

控制信息與數據信息使用不一樣的 HTTP 鏈接

使用長鏈接時，存在一個很常見的場景：客戶端網頁須要關閉，而服務器端還處在讀取數據的堵塞狀態，客戶端須要及時通知服務器端關閉數據鏈接。服務器在收到關閉請求後首先要從讀取數據的阻塞狀態喚醒，而後釋放爲這個客戶端分配的資源，再關閉鏈接。

因此在設計上，咱們須要使客戶端的控制請求和數據請求使用不一樣的 HTTP 鏈接，才能使控制請求不會被阻塞。

在實現上，若是是基於 iframe 流方式的長鏈接，客戶端頁面須要使用兩個 iframe，一個是控制幀，用於往服務器端發送控制請求，控制請求能很快收到響應，不會被堵塞；一個是顯示幀，用於往服務器端發送長鏈接請求。若是是基於 AJAX 的長輪詢方式，客戶端能夠異步地發出一個 XMLHttpRequest 請求，通知服務器端關閉數據鏈接。

在客戶和服務器之間保持「心跳」信息

在瀏覽器與服務器之間維持一個長鏈接會爲通訊帶來一些不肯定性：由於數據傳輸是隨機的，客戶端不知道什麼時候服務器纔有數據傳送。服務器端須要確保當客戶端再也不工做時，釋放爲這個客戶端分配的資源，防止內存泄漏。所以須要一種機制使雙方知道你們都在正常運行。在實現上：

服務器端在阻塞讀時會設置一個時限，超時後阻塞讀調用會返回，同時發給客戶端沒有新數據到達的心跳信息。此時若是客戶端已經關閉，服務器往通道寫數據會出現異常，服務器端就會及時釋放爲這個客戶端分配的資源。
若是客戶端使用的是基於 AJAX 的長輪詢方式；服務器端返回數據、關閉鏈接後，通過某個時限沒有收到客戶端的再次請求，會認爲客戶端不能正常工做，會釋放爲這個客戶端分配、維護的資源。
當服務器處理信息出現異常狀況，須要發送錯誤信息通知客戶端，同時釋放資源、關閉鏈接。

Pushlet - 開源 Comet 框架

Pushlet 是一個開源的 Comet 框架，在設計上有不少值得借鑑的地方，對於開發輕量級的 Comet 應用頗有參考價值。

觀察者模型

Pushlet 使用了觀察者模型：客戶端發送請求，訂閱感興趣的事件；服務器端爲每一個客戶端分配一個會話 ID 做爲標記，事件源會把新產生的事件以多播的方式發送到訂閱者的事件隊列裏。

客戶端 JavaScript 庫

pushlet 提供了基於 AJAX 的 JavaScript 庫文件用於實現長輪詢方式的「服務器推」；還提供了基於 iframe 的 JavaScript 庫文件用於實現流方式的「服務器推」。

JavaScript 庫作了不少封裝工做：

定義客戶端的通訊狀態：STATE_ERROR、STATE_ABORT、STATE_NULL、STATE_READY、STATE_JOINED、STATE_LISTENING；
保存服務器分配的會話 ID，在創建鏈接以後的每次請求中會附上會話 ID 代表身份；
提供了 join()、leave()、subscribe()、 unsubsribe()、listen() 等 API 供頁面調用；
提供了處理響應的 JavaScript 函數接口 onData()、onEvent()…

網頁能夠很方便地使用這兩個 JavaScript 庫文件封裝的 API 與服務器進行通訊。

客戶端與服務器端通訊信息格式

pushlet 定義了一套客戶與服務器通訊的信息格式，使用 XML 格式。定義了客戶端發送請求的類型：join、leave、subscribe、unsubscribe、listen、refresh；以及響應的事件類型：data、join_ack、listen_ack、refresh、heartbeat、error、abort、subscribe_ack、unsubscribe_ack。

服務器端事件隊列管理

pushlet 在服務器端使用 Java Servlet 實現，其數據結構的設計框架仍可適用於 PHP、C 編寫的後臺客戶端。

Pushlet 支持客戶端本身選擇使用流、拉（長輪詢）、輪詢方式。服務器端根據客戶選擇的方式在讀取事件隊列（fetchEvents）時進行不一樣的處理。「輪詢」模式下 fetchEvents() 會立刻返回。」流「和」拉「模式使用阻塞的方式讀事件，若是超時，會發給客戶端發送一個沒有新信息收到的「heartbeat「事件，若是是「拉」模式，會把「heartbeat」與「refresh」事件一塊兒傳給客戶端，通知客戶端從新發出請求、創建鏈接。

客戶服務器之間的會話管理

服務端在客戶端發送 join 請求時，會爲客戶端分配一個會話 ID，並傳給客戶端，而後客戶端就經過此會話 ID 標明身份發出subscribe 和 listen 請求。服務器端會爲每一個會話維護一個訂閱的主題集合、事件隊列。

服務器端的事件源會把新產生的事件以多播的方式發送到每一個會話（即訂閱者）的事件隊列裏。

回頁首

小結

本文介紹瞭如何在現有的技術基礎上選擇合適的方案開發一個「服務器推」的應用，最優的方案仍是取決於應用需求的自己。相對於傳統的 Web 應用，目前開發 Comet 應用仍是具備必定的挑戰性。

「服務器推」存在普遍的應用需求，爲了使 Comet 模型適用於大規模的商業應用，以及方便用戶構建 Comet 應用，最近幾年，不管是服務器仍是瀏覽器都出現了不少新技術，同時也出現了不少開源的 Comet 框架、協議。需求推進技術的發展，相信 Comet 的應用會變得和 AJAX 同樣普及。

參考資料

學習

developerWorks 文章「面向 Java 開發人員的 Ajax: 使用 Jetty 和 Direct Web Remoting 編寫可擴展的 Comet 應用程序」：受異步服務器端事件驅動的 Ajax 應用程序實現較爲困難，本文介紹了一種結合使用 Comet 模式和 Jetty 6 Continuations API 的解決方法。
「Comet: Low Latency Data for the Browser」：Alex Russell 是 Dojo Toolkit 的項目主管和 Dojo Foundation 的主席，他在這篇博客文章中提出了 Comet 這個術語。
「What else is burried down in the depth’s of Google’s amazing JavaScript?」（Alex Russel，2006 年 2 月）：Alex 在這篇文章裏介紹瞭如何使用「htmlfile」ActiveX 控件解決 iframe 請求長鏈接時 IE 的加載顯示問題。
Comet wiki：提供了不少開源 Comet 框架的連接。
Jetty：Jetty 是一種開源的基於標準的 Web 服務器，徹底使用 Java 語言實現。
「Ajax, Comet and Jetty」（Greg Wilkins，Webtide，2006 年 1 月）：Wilkins 的這份白皮書討論了擴展 Ajax 鏈接的 Jetty 架構方法。
Continuations：瞭解更多關於 Jetty 的 Continuations 特性的信息。
「pushlet」：開源 comet 框架，使用了觀察者模型。瀏覽器端提供了基於 AJAX 和 iframe 的 JavaScript 庫，服務器端使用 Java Servlet。
「How to implement COMET with PHP」：提供的 comet-iframe.tar.gz 使用 iframe/htmlfile 封裝了一個 JavaScript comet 對象，支持 IE、Mozilla Firefox 瀏覽器。
「AFLAX」：Asynchronous Flash and XML，提供了強大的 Flash、Javascript 庫和不少範例。
developerWorks Ajax 技術資源中心：能找到更多關於 Ajax 技術的文章和教程。
developerWorks Web 開發技術專區：提供了關於 Web 開發和架構方面的大量文章。
developerWorks Java 技術專區：提供了關於 Java 編程各個方面的數百篇文章。
瀏覽技術書店，查閱有關本文所述主題以及其餘技術主題的書籍。