HTTPSQS(HTTP Simple Queue Service)是一款基於 HTTP GET/POST 協議的輕量級開源簡單消息隊列服務,使用 Tokyo Cabinet 的 B+Tree Key/Value 數據庫來作數據的持久化存儲。
項目網址:http://code.google.com/p/httpsqs/
使用文檔:http://blog.s135.com/httpsqs/
使用環境:Linux(同時支持32位、64位操做系統,推薦使用64位操做系統)
軟件做者:張宴
隊列(Queue)又稱先進先出表(First In First Out),即先進入隊列的元素,先從隊列中取出。加入元素的一頭叫「隊頭」,取出元素的一頭叫「隊尾」。利用消息隊列能夠很好地異步處理數據傳送和存儲, 當你頻繁地向數據庫中插入數據、頻繁地向搜索引擎提交數據,就可採起消息隊列來異步插入。另外,還能夠將較慢的處理邏輯、有併發數量限制的處理邏輯,經過 消息隊列放在後臺處理,例如FLV視頻轉換、發送手機短信、發送電子郵件等。
HTTPSQS 具備如下特徵:
● 很是簡單,基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP協議的編程語言都可調用。
● 很是快速,入隊列、出隊列速度超過10000次/秒。
● 高併發,支持上萬的併發鏈接,C10K不成問題。
● 支持多隊列。
● 單個隊列支持的最大隊列數量高達10億條。
● 低內存消耗,海量數據存儲,存儲幾十GB的數據只需不到100MB的物理內存緩衝區。
● 能夠在不中止服務的狀況下便捷地修改單個隊列的最大隊列數量。
● 能夠實時查看隊列狀態(入隊列位置、出隊列位置、未讀隊列數量、最大隊列數量)。
● 能夠查看指定隊列ID(隊列點)的內容,包括未出、已出的隊列內容。
● 查看隊列內容時,支持多字符集編碼。
● 源代碼不超過800行,適合二次開發。
php
一、HTTPSQS 1.7 壓力測試:
採用Apache ab命令進行壓力測試,開啓10個線程,放入10萬條文本數據(每條512字節)到隊列中:
使用HTTP Keep-Alive時:23018 requests/sec
關閉HTTP Keep-Alive時:11840 requests/sec
採用Apache ab命令進行壓力測試,開啓10個線程,從隊列中取出10萬條文本數據(每條512字節):
使用HTTP Keep-Alive時:25982 requests/sec
關閉HTTP Keep-Alive時:13294 requests/sec
詳細測試內容:http://code.google.com/p/httpsqs/wiki/BenchmarkTest
生產環境應用:在金山遊戲官網中,新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做,文本內容實時寫入HTTPSQS隊列,全站搜索引擎增量索引準實時(1分鐘內)更新的數據源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今,運行穩定,既有來自Web服務器的入隊列操做,也有來自命令行腳本的批量入、出隊列操做。
html
二、HTTPSQS 的生產環境應用:
●金山通行證(https://my.xoyo.com)
隊列應用類型:手機短信上行、手機短信下發、郵件下發
隊列應用要求:穩定性高,存儲數據量大
隊列部署結構:一主、一備兩臺 HTTPSQS 熱備模式
●金山用戶行爲分析系統(http://kbi.xoyo.com)
隊列應用類型:用戶鼠標點擊、訪問URL原始數據採集
隊列應用要求:併發性能高,存儲數據量大
隊列部署結構:多臺 HTTPSQS 應用層哈希分佈式模式
●金山網絡遊戲運營平臺 KingEyes
隊列應用類型:用戶操做日誌記錄
●金山逍遙網站內搜索
隊列應用類型:索引準實時更新。在金山遊戲官網中,新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做,文本內容實時寫入HTTPSQS隊列,全站搜索引擎增量索引準實時(1分鐘內)更新的數據源取自HTTPSQS。
●金山逍遙網全站通用評論系統
隊列應用類型:評論發表
●金山《劍俠情緣》電視連續劇四大角色人物選秀活動(http://zt.xoyo.com/haixuan/)
隊列應用類型:用戶上傳的照片異步裁剪、縮放處理
●新浪郵箱(http://mail.sina.com.cn)
隊列應用類型:用戶登錄日誌記錄
java
ulimit -SHn 65535
wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注:在32位Linux操做系統上編譯Tokyo cabinet,請使用./configure --enable-off64代替./configure,可使數據庫文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../
wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make
make install
cd ../數據庫
四、HTTPSQS 服務器使用文檔:
[root@xoyo ~]# httpsqs -h編程
-l <ip_addr> 監聽的IP地址,默認值爲 0.0.0.0
-p <num> 監聽的TCP端口(默認值:1218)
-x <path> 數據庫目錄,目錄不存在會自動建立(例如:/opt/httpsqs/data)
-t <second> HTTP請求的超時時間(默認值:3)
-s <second> 同步內存緩衝區內容到磁盤的間隔秒數(默認值:5)
-c <num> 內存中緩存的最大非葉子節點數(默認值:1024)
-m <size> 數據庫內存緩存大小,單位:MB(默認值:100)
-i <file> 保存進程PID到文件中(默認值:/tmp/httpsqs.pid)
-a <auth> 訪問HTTPSQS的驗證密碼(例如:mypass123)
-d 以守護進程運行
-h 顯示這個幫助json
示例:數組
ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue瀏覽器
請使用命令「killall httpsqs」、「pkill httpsqs」和「kill `cat /tmp/httpsqs.pid`」來中止httpsqs。
注意:請不要使用命令「pkill -9 httpsqs」和「kill -9 httpsqs的進程ID」來結束httpsqs,不然,內存中還沒有保存到磁盤的數據將會丟失。
緩存
五、HTTPSQS 客戶端使用文檔:
(1)、入隊列(將文本消息放入隊列):
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=put&data=通過URL編碼的文本消息&auth=mypass123"
HTTP POST 協議(以curl命令爲例):
curl -d "通過URL編碼的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"
HTTPSQS_PUT_OK
若是入隊列失敗,返回:
HTTPSQS_PUT_ERROR
若是隊列已滿,返回:
HTTPSQS_PUT_END
從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」,輸出當前隊列的讀取位置點,例如:
HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14
HTTPSQS_PUT_OK
(2)、出隊列(從隊列中取出文本消息):
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"
以瀏覽器爲例:
返回消息隊列的內容給客戶端。
若是沒有未取出的消息隊列,則返回:
HTTPSQS_GET_END
從HTTPSQS 1.2版本開始,在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」,輸出當前隊列的讀取位置點,例如:
HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18
消息隊列內容
參數charset說明(例如:/?charset=utf-8):
指定HTTP輸出Header頭的字符編碼,即:
Content-Type: text/plain; charset=utf-8
任何在IANA註冊的字符編碼都可使用,可是,並非全部的瀏覽器都能解析所有的字符編碼。對於中文,經常使用的字符編碼有:utf-八、gb23十二、gbk、gb18030、big5等。
(3)、查看隊列狀態(普通方式,便於瀏覽器查看):
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"
返回(示例):
HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39
若是「隊列寫入點值」大於「最大隊列數量值」,將重置「隊列寫入點」爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:
HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517
(4)、查看隊列狀態(JSON方式,便於程序處理返回內容):
從HTTPSQS 1.3版本開始支持此功能。
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"
返回(示例):
{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}
若是「隊列寫入點值」大於「最大隊列數量值」,將重置「隊列寫入點」爲1,即又從1開始存儲新的隊列內容,覆蓋原來隊列位置點的內容:
{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}
(5)、查看指定隊列位置點的內容:
跟通常的隊列系統不一樣的是,HTTPSQS 能夠查看指定隊列ID(隊列點)的內容,包括未出、已出的隊列內容。能夠方便地觀測進入隊列的內容是否正確。
另外,假設有一個發送手機短信的隊列,由客戶端守護進程從隊列中取出信息,並調用「短信網關接口」發送短信。可是,若是某段時間「短信網關接口」有故 障,而這段時間隊列位置點300~900的信息已經出隊列,可是發送短信失敗,咱們還能夠在位置點300~900被覆蓋前,查看到這些位置點的內容,做相 應的處理。
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"
curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"
pos >=1 而且 <= 1000000000
返回指定隊列位置點的內容。
(6)、重置指定隊列:
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"
若是重置成功,返回:
HTTPSQS_RESET_OK
若是重置失敗,返回:
HTTPSQS_RESET_ERROR
(7)、更改指定隊列的最大隊列數量:
默認的最大隊列長度(100萬條):1000000
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"
num >=10 而且 <= 1000000000
若是更改最大隊列數量成功,則返回:
HTTPSQS_MAXQUEUE_OK
更改的最大隊列數量必須大於當前的「隊列寫入點」。另外,當「隊列寫入點」小於「隊列讀取點」時(即PUT位於圓環的第二圈,而GET位於圓環的第一圈時),本操做將被取消,而後返回給客戶端如下信息:
HTTPSQS_MAXQUEUE_CANCEL
(8)、不中止服務的狀況下,修改定時刷新內存緩衝區內容到磁盤的間隔時間:
從HTTPSQS 1.3版本開始支持此功能。
默認間隔時間:5秒 或 httpsqs -s <second> 參數設置的值。
HTTP GET 協議(以curl命令爲例):
curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"
num >=1 and <= 1000000000
若是修改間隔時間成功,則返回:
HTTPSQS_SYNCTIME_OK
若是 num 不在 1 ~ 1000000000 之間,本操做將被取消,而後返回給客戶端如下信息:
HTTPSQS_SYNCTIME_CANCEL
(9)、密碼校驗失敗:
從HTTPSQS 1.5版本開始支持此功能。
若是密碼校驗失敗(/?auth=xxx),將返回如下信息:
HTTPSQS_AUTH_FAILED
(10)、全局錯誤:
若是發生全局錯誤(即指令、參數錯誤等),將返回如下信息:
HTTPSQS_ERROR
六、HTTPSQS 客戶端
(1)、PHP 客戶端說明文檔:
A、PHP 客戶端擴展(第三方提供,詳情請訪問:http://code.google.com/p/php-httpsqs-client/)
B、PHP 客戶端 Class 文件(官方提供:適用於 HTTPSQS 1.7 以上版本,推薦使用。)
查看 PHP Class 源代碼:httpsqs_client.php
PHP Client 全部函數使用示例:test_example.php
PHP Client 命令行運行示例:test_commandline.php
用法:
(2)、Perl 客戶端說明文檔(第三方提供,做者:tonny0830):
查看Perl客戶端源代碼:perl client
HttpSQS 模塊參數說明
開發平臺:CentOS 5.4
Perl版本:5.8.8
Editor: VIM
##################################################################
new 方法:
參數個數:4個
參數說明:
1.HttpSQS-服務器IP地址。
2.HttpSQS-工做端口號。
3.Proto-鏈接服務器協議類型,TCP 仍是UDP. 默認是TCP鏈接。
4.Charset-字符集。默認是UTF-8。
###################################################################
put方法:
參數個數:2個
傳遞參數:
1.隊列名
2.以POST方式提交的字符串
####################################################################
get方法:
參數個數:1個
傳遞參數:
1.隊列名
####################################################################
status方法:
參數個數:1個
傳遞參數:
1.隊列名
#####################################################################
view方法:
參數個數:2個
傳遞參數:
1.隊列名
2.查看隊列的編號
#####################################################################
reset方法:
參數個數:1個
傳遞參數:
1.隊列名
#####################################################################
maxqueue方法:
參數個數:2個
傳遞參數:
1.隊列名
2.指定的最大隊列數
#####################################################################
pput方法:
參數個數:2個
傳遞參數:
1.隊列名
2.POST方式提交的數據。
#####################################################################
pget方法:
參數個數:1個
傳遞參數:
1.隊列名
#####################################################################
pstatus方法:
參數個數:1個
傳遞參數:
1.隊列名
#####################################################################
pview方法:
參數個數:2個
傳遞參數:
1.隊列名
2.查看隊列的編號。
#####################################################################
pmaxqueue方法:
參數個數:2個
傳遞參數:
1.隊列名
2.指定隊列的最大數。
#####################################################################
preset方法:
參數個數:1個
傳遞參數:
1.隊列名
#####################################################################
使用的例子見:
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl
(3)、C 客戶端示例(第三方提供,做者:李博):
查看C客戶端示例源代碼:C client
(4)、Java 客戶端
A、第一款客戶端(推薦)(第三方提供,做者:Snow Young):
下載 1.0 版本:http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip
從SVN下載最新代碼:svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j
幫助文檔:http://blog.s135.com/book/httpsqs/client/httpsqs4j/
B、第二款客戶端(第三方提供,做者:李博):
查看Java客戶端示例源代碼:Java client
(5)、Python客戶端(第三方提供,做者:Wendal):
下載:http://wendal.net/261.html
七、HTTPSQS 生產環境典型應用案例架構:
一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架以下:
環境,假設PHP安裝路徑爲/usr/local/webserver/php,使用PHP編寫一個文件/opt/httpsqs_client_daemon.php:
在Linux下,推送到後臺執行便可:
nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &
八、HTTPSQS 軟件版本修改歷史:
● [2009年12月29日] HTTPSQS 1.1 版本發佈。這是第一個開源發佈版本。
● [2010年03月18日] HTTPSQS 1.2 版本發佈。點擊這兒查看該版本的新增功能。
● [2010年06月28日] HTTPSQS 1.3 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年04月21日] HTTPSQS 1.6 版本發佈。點擊這兒查看該版本的新增功能。
● [2011年07月26日] HTTPSQS 1.7 版本發佈。點擊這兒查看該版本的新增功能。
附:本使用文檔修改歷史
● [2009年12月30日] [Version 1.1.0] HTTPSQS 1.1 版本使用文檔。
● [2010年03月18日] [Version 1.2.0] HTTPSQS 1.2 版本使用文檔。增長了 HTTPSQS 1.2 版本新增功能的說明,以及生產環境典型應用案例架構圖。
● [2010年03月19日] [Version 1.2.1] 在第7節中,增長了一個採用PHP編寫的HTTPSQS客戶端簡單守護進程框架代碼。
● [2010年04月07日] [Version 1.2.2] 在第6節中,增長了第三方的C客戶端示例和Java客戶端示例。
● [2010年04月30日] [Version 1.2.3] 在第6節中,再增長了一款第三方Java客戶端:httpsqs4j。
● [2010年05月11日] [Version 1.2.4] 解決了在某些Linux系統上,默認動態連接庫目錄中找不到TC動態連接庫的問題:/usr/bin/httpsqs: error while loading shared libraries: libtokyocabinet.so.9: cannot open shared object file: No such file or directory。
● [2010年06月29日] [Version 1.3.0] HTTPSQS 1.3 版本使用文檔。增長了 HTTPSQS 1.3 版本新增功能的說明。
● [2010年08月26日] [Version 1.3.1] 在第6節中,增長了第三方PHP客戶端擴展連接。
● [2011年04月21日] [Version 1.6.0] HTTPSQS 1.6 版本使用文檔。增長了 HTTPSQS 1.6 版本新增功能的說明。
● [2011年07月26日] [Version 1.7.0] HTTPSQS 1.7 版本使用文檔。修復一處BUG,改成動態編譯HTTPSQS。
● [2011年11月04日] [Version 1.7.1] 增長支持 HTTPSQS 1.7 版本的 PHP Client Class。