HTTPSQS(HTTP Simple Queue Service)是一款基於 HTTP GET/POST 協議的輕量級開源簡單消息隊列服務,使用 Tokyo Cabinet 的 B+Tree Key/Value 數據庫來作數據的持久化存儲。
項目網址:http://code.google.com/p/httpsqs/
使用文檔:http://blog.s135.com/httpsqs/
使用環境:Linux(同時支持32位、64位操做系統,推薦使用64位操做系統)
軟件做者:張宴
隊列(Queue)又稱先進先出表(First In First Out),即先進入隊列的元素,先從隊列中取出。加入元素的一頭叫「隊頭」,取出元素的一頭叫「隊尾」。利用消息隊列能夠很好地異步處理數據傳送和存儲,當你頻繁地向數據庫中插入數據、頻繁地向搜索引擎提交數據,就可採起消息隊列來異步插入。另外,還能夠將較慢的處理邏輯、有併發數量限制的處理邏輯,經過消息隊列放在後臺處理,例如FLV視頻轉換、發送手機短信、發送電子郵件等。
HTTPSQS 具備如下特徵:
● 很是簡單,基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP協議的編程語言都可調用。
● 很是快速,入隊列、出隊列速度超過10000次/秒。
● 高併發,支持上萬的併發鏈接,C10K不成問題。
● 支持多隊列。
● 單個隊列支持的最大隊列數量高達10億條。
● 低內存消耗,海量數據存儲,存儲幾十GB的數據只需不到100MB的物理內存緩衝區。
● 能夠在不中止服務的狀況下便捷地修改單個隊列的最大隊列數量。
● 能夠實時查看隊列狀態(入隊列位置、出隊列位置、未讀隊列數量、最大隊列數量)。
● 能夠查看指定隊列ID(隊列點)的內容,包括未出、已出的隊列內容。
● 查看隊列內容時,支持多字符集編碼。
● 源代碼不超過800行,適合二次開發。
php
一、HTTPSQS 1.7 壓力測試:
採用Apache ab命令進行壓力測試,開啓10個線程,放入10萬條文本數據(每條512字節)到隊列中:
使用HTTP Keep-Alive時:23018 requests/sec
關閉HTTP Keep-Alive時:11840 requests/sec
採用Apache ab命令進行壓力測試,開啓10個線程,從隊列中取出10萬條文本數據(每條512字節):
使用HTTP Keep-Alive時:25982 requests/sec
關閉HTTP Keep-Alive時:13294 requests/sec
詳細測試內容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生產環境應用:在金山遊戲官網中,新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做,文本內容實時寫入HTTPSQS隊列,全站搜索引擎增量索引準實時(1分鐘內)更新的數據源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今,運行穩定,既有來自Web服務器的入隊列操做,也有來自命令行腳本的批量入、出隊列操做。
html
二、HTTPSQS 的生產環境應用:
●金山通行證(https://my.xoyo.com)
隊列應用類型:手機短信上行、手機短信下發、郵件下發
隊列應用要求:穩定性高,存儲數據量大
隊列部署結構:一主、一備兩臺 HTTPSQS 熱備模式
●金山用戶行爲分析系統(http://kbi.xoyo.com)
隊列應用類型:用戶鼠標點擊、訪問URL原始數據採集
隊列應用要求:併發性能高,存儲數據量大
隊列部署結構:多臺 HTTPSQS 應用層哈希分佈式模式
●金山網絡遊戲運營平臺 KingEyes
隊列應用類型:用戶操做日誌記錄
●金山逍遙網站內搜索
隊列應用類型:索引準實時更新。在金山遊戲官網中,新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做,文本內容實時寫入HTTPSQS隊列,全站搜索引擎增量索引準實時(1分鐘內)更新的數據源取自HTTPSQS。
●金山逍遙網全站通用評論系統
隊列應用類型:評論發表
●金山《劍俠情緣》電視連續劇四大角色人物選秀活動(http://zt.xoyo.com/haixuan/)
隊列應用類型:用戶上傳的照片異步裁剪、縮放處理
●新浪郵箱(http://mail.sina.com.cn)
隊列應用類型:用戶登錄日誌記錄
java
四、HTTPSQS 服務器使用文檔:
[root@xoyo ~]# httpsqs -h數據庫
示例:編程
請使用命令「killall httpsqs」、「pkill httpsqs」和「kill `cat /tmp/httpsqs.pid`」來中止httpsqs。
注意:請不要使用命令「pkill -9 httpsqs」和「kill -9 httpsqs的進程ID」來結束httpsqs,不然,內存中還沒有保存到磁盤的數據將會丟失。
json
五、HTTPSQS 客戶端使用文檔:
(1)、入隊列(將文本消息放入隊列):
HTTP GET 協議(以curl命令爲例):數組
HTTP POST 協議(以curl命令爲例):瀏覽器
若是入隊列失敗,返回:
若是隊列已滿,返回:
從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」,輸出當前隊列的讀取位置點,例如:
(2)、出隊列(從隊列中取出文本消息):
HTTP GET 協議(以curl命令爲例):
以瀏覽器爲例:
返回消息隊列的內容給客戶端。
若是沒有未取出的消息隊列,則返回:
從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」,輸出當前隊列的讀取位置點,例如:
參數charset說明(例如:/?charset=utf-8):
指定HTTP輸出Header頭的字符編碼,即:
Content-Type: text/plain; charset=utf-8
任何在IANA註冊的字符編碼都可使用,可是,並非全部的瀏覽器都能解析所有的字符編碼。對於中文,經常使用的字符編碼有:utf-八、gb23十二、gbk、gb18030、big5等。
(3)、查看隊列狀態(普通方式,便於瀏覽器查看):
HTTP GET 協議(以curl命令爲例):
返回(示例):
若是「隊列寫入點值」大於「最大隊列數量值」,將重置「隊列寫入點」爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:
(4)、查看隊列狀態(JSON方式,便於程序處理返回內容):
從HTTPSQS 1.3版本開始支持此功能。
HTTP GET 協議(以curl命令爲例):
返回(示例):
若是「隊列寫入點值」大於「最大隊列數量值」,將重置「隊列寫入點」爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:
(5)、查看指定隊列位置點的內容:
跟通常的隊列系統不一樣的是,HTTPSQS 能夠查看指定隊列ID(隊列點)的內容,包括未出、已出的隊列內容。能夠方便地觀測進入隊列的內容是否正確。
另外,假設有一個發送手機短信的隊列,由客戶端守護進程從隊列中取出信息,並調用「短信網關接口」發送短信。可是,若是某段時間「短信網關接口」有故障,而這段時間隊列位置點300~900的信息已經出隊列,可是發送短信失敗,咱們還能夠在位置點300~900被覆蓋前,查看到這些位置點的內容,做相應的處理。
HTTP GET 協議(以curl命令爲例):
pos >=1 而且 <= 1000000000
返回指定隊列位置點的內容。
(6)、重置指定隊列:
HTTP GET 協議(以curl命令爲例):
若是重置成功,返回:
若是重置失敗,返回:
(7)、更改指定隊列的最大隊列數量:
默認的最大隊列長度(100萬條):1000000
HTTP GET 協議(以curl命令爲例):
num >=10 而且 <= 1000000000
若是更改最大隊列數量成功,則返回:
更改的最大隊列數量必須大於當前的「隊列寫入點」。另外,當「隊列寫入點」小於「隊列讀取點」時(即PUT位於圓環的第二圈,而GET位於圓環的第一圈時),本操做將被取消,而後返回給客戶端如下信息:
(8)、不中止服務的狀況下,修改定時刷新內存緩衝區內容到磁盤的間隔時間:
從HTTPSQS 1.3版本開始支持此功能。
默認間隔時間:5秒 或 httpsqs -s <second> 參數設置的值。
HTTP GET 協議(以curl命令爲例):
num >=1 and <= 1000000000
若是修改間隔時間成功,則返回:
若是 num 不在 1 ~ 1000000000 之間,本操做將被取消,而後返回給客戶端如下信息:
(9)、密碼校驗失敗:
從HTTPSQS 1.5版本開始支持此功能。
若是密碼校驗失敗(/?auth=xxx),將返回如下信息:
(10)、全局錯誤:
若是發生全局錯誤(即指令、參數錯誤等),將返回如下信息:
六、HTTPSQS 客戶端
(1)、PHP 客戶端說明文檔:
A、PHP 客戶端擴展(第三方提供,詳情請訪問:http://code.google.com/p/php-httpsqs-client/)
B、PHP 客戶端 Class 文件(官方提供:適用於 HTTPSQS 1.7 以上版本,推薦使用。)
查看 PHP Class 源代碼:httpsqs_client.php
PHP Client 全部函數使用示例:test_example.php
PHP Client 命令行運行示例:test_commandline.php
用法:
(2)、Perl 客戶端說明文檔(第三方提供,做者:tonny0830):
查看Perl客戶端源代碼:perl client
(3)、C 客戶端示例(第三方提供,做者:李博):
查看C客戶端示例源代碼:C client
(4)、Java 客戶端
A、第一款客戶端(推薦)(第三方提供,做者:Snow Young):
下載 1.0 版本:http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip
從SVN下載最新代碼:svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j
幫助文檔:http://blog.s135.com/book/httpsqs/client/httpsqs4j/
B、第二款客戶端(第三方提供,做者:李博):
查看Java客戶端示例源代碼:Java client
(5)、Python客戶端(第三方提供,做者:Wendal):
下載:http://wendal.net/261.html
七、HTTPSQS 生產環境典型應用案例架構:
一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架以下:
環境,假設PHP安裝路徑爲/usr/local/webserver/php,使用PHP編寫一個文件/opt/httpsqs_client_daemon.php:
在Linux下,推送到後臺執行便可:
八、HTTPSQS 軟件版本修改歷史:
● [2009年12月29日] HTTPSQS 1.1 版本發佈。這是第一個開源發佈版本。
● [2010年03月18日] HTTPSQS 1.2 版本發佈。點擊這兒查看該版本的新增功能。
● [2010年06月28日] HTTPSQS 1.3 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年04月21日] HTTPSQS 1.6 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年07月26日] HTTPSQS 1.7 版本發佈。點擊這兒查看該版本的新增功能。
附:本使用文檔修改歷史 ● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文檔。 ● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文檔。增長了 HTTPSQS 1.2 版本新增功能的說明,以及生產環境典型應用案例架構圖。 ● [2010年03月19日] [Version 1.2.1] 在第7節中,增長了一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架代碼。 ● [2010年04月07日] [Version 1.2.2] 在第6節中,增長了第三方的C客戶端示例和Java客戶端示例。 ● [2010年04月30日] [Version 1.2.3] 在第6節中,再增長了一款第三方Java客戶端:httpsqs4j。 ● [2010年05月11日] [Version 1.2.4] 解決了在某些Linux系統上,默認動態連接庫目錄中找不到TC動態連接庫的問題:/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。 ● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文檔。增長了 HTTPSQS 1.3 版本新增功能的說明。 ● [2010年08月26日] [Version 1.3.1] 在第6節中,增長了第三方PHP客戶端擴展連接。 ● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文檔。增長了 HTTPSQS 1.6 版本新增功能的說明。 ● [2011年07月26日] [Version 1.7.0] HTTPSQS 1.7 版本使用文檔。修復一處BUG,改成動態編譯HTTPSQS。 ● [2011年11月04日] [Version 1.7.1] 增長支持 HTTPSQS 1.7 版本的 PHP Client Class。