基於HTTP協議的輕量級開源簡單隊列服務：HTTPSQS

        隊列（Queue）又稱先進先出表（First In First Out），即先進入隊列的元素，先從隊列中取出。加入元素的一頭叫「隊頭」，取出元素的一頭叫「隊尾」。利用消息隊列能夠很好地異步處理數據傳送和存儲， 當你頻繁地向數據庫中插入數據、頻繁地向搜索引擎提交數據，就可採起消息隊列來異步插入。另外，還能夠將較慢的處理邏輯、有併發數量限制的處理邏輯，經過 消息隊列放在後臺處理，例如FLV視頻轉換、發送手機短信、發送電子郵件等。

 HTTPSQS 具備如下特徵：

　　● 很是簡單，基於 HTTP GET/POST 協議。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP協議的編程語言都可調用。
　　● 很是快速，入隊列、出隊列速度超過10000次/秒。
　　● 高併發，支持上萬的併發鏈接，C10K不成問題。
　　● 支持多隊列。
　　● 單個隊列支持的最大隊列數量高達10億條。
　　● 低內存消耗，海量數據存儲，存儲幾十GB的數據只需不到100MB的物理內存緩衝區。
　　● 能夠在不中止服務的狀況下便捷地修改單個隊列的最大隊列數量。
　　● 能夠實時查看隊列狀態（入隊列位置、出隊列位置、未讀隊列數量、最大隊列數量）。
　　● 能夠查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。
　　● 查看隊列內容時，支持多字符集編碼。
　　● 源代碼不超過800行，適合二次開發。

一、HTTPSQS 1.7 壓力測試：

　　採用Apache ab命令進行壓力測試，開啓10個線程，放入10萬條文本數據（每條512字節）到隊列中:
　　使用HTTP Keep-Alive時：23018 requests/sec
　　關閉HTTP Keep-Alive時：11840 requests/sec

　　採用Apache ab命令進行壓力測試，開啓10個線程，從隊列中取出10萬條文本數據（每條512字節）:
　　使用HTTP Keep-Alive時：25982 requests/sec
　　關閉HTTP Keep-Alive時：13294 requests/sec

　　詳細測試內容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　生產環境應用：在金山遊戲官網中， 新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做，文本內容實時寫入HTTPSQS隊列，全站搜索引擎增量索引準實時（1分鐘內）更新的數據 源取自HTTPSQS。HTTPSQS 2009年12月18日上線至今，運行穩定，既有來自Web服務器的入隊列操做，也有來自命令行腳本的批量入、出隊列操做。

　二、HTTPSQS 的生產環境應用：

　　●金山通行證（https://my.xoyo.com）
　　隊列應用類型：手機短信上行、手機短信下發、郵件下發
　　隊列應用要求：穩定性高，存儲數據量大
　　隊列部署結構：一主、一備兩臺 HTTPSQS 熱備模式

　　●金山用戶行爲分析系統（http://kbi.xoyo.com）
　　隊列應用類型：用戶鼠標點擊、訪問URL原始數據採集
　　隊列應用要求：併發性能高，存儲數據量大
　　隊列部署結構：多臺 HTTPSQS 應用層哈希分佈式模式

　　●金山網絡遊戲運營平臺 KingEyes
　　隊列應用類型：用戶操做日誌記錄

　　●金山逍遙網站內搜索
　　隊列應用類型：索引準實時更新。在金山遊戲官網中，新聞、論壇帖子、客服公告、SNS社區等發生的增、刪、改操做，文本內容實時寫入HTTPSQS隊列，全站搜索引擎增量索引準實時（1分鐘內）更新的數據源取自HTTPSQS。

　　●金山逍遙網全站通用評論系統
　　隊列應用類型：評論發表

　　●金山《劍俠情緣》電視連續劇四大角色人物選秀活動（http://zt.xoyo.com/haixuan/）
　　隊列應用類型：用戶上傳的照片異步裁剪、縮放處理

　　●新浪郵箱（http://mail.sina.com.cn）
　　隊列應用類型：用戶登錄日誌記錄

　五、HTTPSQS 客戶端使用文檔：

　　(1)、入隊列（將文本消息放入隊列）：

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=put&data=通過URL編碼的文本消息&auth=mypass123"

　　HTTP POST 協議（以curl命令爲例）：

curl -d "通過URL編碼的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"

　　以瀏覽器爲例：
　　

　　若是入隊列成功，返回：

HTTPSQS_PUT_OK

　　若是入隊列失敗，返回：

HTTPSQS_PUT_ERROR

　　若是隊列已滿，返回：

HTTPSQS_PUT_END

　　從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」，輸出當前隊列的讀取位置點，例如：

HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14

HTTPSQS_PUT_OK

---

　　(2)、出隊列（從隊列中取出文本消息）：

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"

　　以瀏覽器爲例：
　　

　　返回消息隊列的內容給客戶端。

　　若是沒有未取出的消息隊列，則返回：

HTTPSQS_GET_END

　　從HTTPSQS 1.2版本開始，在返回給客戶端的HTTP Header頭中增長了一行「Pos: xxx」，輸出當前隊列的讀取位置點，例如：

HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18

消息隊列內容

　　參數charset說明（例如：/?charset=utf-8）：
　　指定HTTP輸出Header頭的字符編碼，即：
　　Content-Type: text/plain; charset=utf-8

　　任何在IANA註冊的字符編碼都可使用，可是，並非全部的瀏覽器都能解析所有的字符編碼。對於中文，經常使用的字符編碼有：utf-八、gb23十二、gbk、gb18030、big5等。

---

　　(3)、查看隊列狀態（普通方式，便於瀏覽器查看）：

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"

　　返回（示例）：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39

　　若是「隊列寫入點值」大於「最大隊列數量值」，將重置「隊列寫入點」爲1，即又從1開始存儲新的隊列內容，覆蓋原來隊列位置點的內容：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517

　　以瀏覽器爲例：
　　

---

　　(4)、查看隊列狀態（JSON方式，便於程序處理返回內容）：

　　從HTTPSQS 1.3版本開始支持此功能。

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"

　　返回（示例）：

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}

　　若是「隊列寫入點值」大於「最大隊列數量值」，將重置「隊列寫入點」爲1，即又從1開始存儲新的隊列內容，覆蓋原來隊列位置點的內容：

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}

---

　　(5)、查看指定隊列位置點的內容：

　　跟通常的隊列系統不一樣的是，HTTPSQS 能夠查看指定隊列ID（隊列點）的內容，包括未出、已出的隊列內容。能夠方便地觀測進入隊列的內容是否正確。

　 　另外，假設有一個發送手機短信的隊列，由客戶端守護進程從隊列中取出信息，並調用「短信網關接口」發送短信。可是，若是某段時間「短信網關接口」有故 障，而這段時間隊列位置點300~900的信息已經出隊列，可是發送短信失敗，咱們還能夠在位置點300~900被覆蓋前，查看到這些位置點的內容，做相 應的處理。

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"

　　pos >=1 而且 <= 1000000000

　　返回指定隊列位置點的內容。

---

　　(6)、重置指定隊列：

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"

　　若是重置成功，返回：

HTTPSQS_RESET_OK

　　若是重置失敗，返回：

HTTPSQS_RESET_ERROR

---

　　(7)、更改指定隊列的最大隊列數量：

　　默認的最大隊列長度（100萬條）：1000000

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"

　　num >=10 而且 <= 1000000000

　　若是更改最大隊列數量成功，則返回：

HTTPSQS_MAXQUEUE_OK

　　更改的最大隊列數量必須大於當前的「隊列寫入點」。另外，當「隊列寫入點」小於「隊列讀取點」時（即PUT位於圓環的第二圈，而GET位於圓環的第一圈時），本操做將被取消，而後返回給客戶端如下信息：

HTTPSQS_MAXQUEUE_CANCEL

---

　　(8)、不中止服務的狀況下，修改定時刷新內存緩衝區內容到磁盤的間隔時間：

　　從HTTPSQS 1.3版本開始支持此功能。

　　默認間隔時間：5秒 或 httpsqs -s <second> 參數設置的值。

　　HTTP GET 協議（以curl命令爲例）：

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"

　　num >=1 and <= 1000000000

　　若是修改間隔時間成功，則返回：

HTTPSQS_SYNCTIME_OK

　　若是 num 不在 1 ～ 1000000000 之間，本操做將被取消，而後返回給客戶端如下信息：

HTTPSQS_SYNCTIME_CANCEL

---

　　(9)、密碼校驗失敗：

　　從HTTPSQS 1.5版本開始支持此功能。

　　若是密碼校驗失敗（/?auth=xxx），將返回如下信息：

HTTPSQS_AUTH_FAILED

---

　　(10)、全局錯誤：

　　若是發生全局錯誤（即指令、參數錯誤等），將返回如下信息：

HTTPSQS_ERROR

---

　　六、HTTPSQS 客戶端

　　(1)、PHP 客戶端說明文檔：

　　A、PHP 客戶端擴展（第三方提供，詳情請訪問：http://code.google.com/p/php-httpsqs-client/）

　　B、PHP 客戶端 Class 文件（官方提供：適用於 HTTPSQS 1.7 以上版本，推薦使用。）

　　查看 PHP Class 源代碼：httpsqs_client.php

　　PHP Client 全部函數使用示例：test_example.php

　　PHP Client 命令行運行示例：test_commandline.php

　　用法：

view plainprint?

1. <?php  

2. include_once("httpsqs_client.php");   

3. $httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset);   

4.    

5. /*  

6. 1. 將文本信息放入一個隊列（注意：若是要放入隊列的PHP變量是一個數組，須要事先使用序列化、json_encode等函數轉換成文本） 

7.     若是入隊列成功，返回布爾值：true  

8.     若是入隊列失敗，返回布爾值：false  

9. */   

10. $result = $httpsqs->put($queue_name, $queue_data);   

11.    

12. /*  

13. 2. 從一個隊列中取出文本信息 

14.     返回該隊列的內容 

15.     若是沒有未被取出的隊列，則返回文本信息：HTTPSQS_GET_END 

16.     若是發生錯誤，返回布爾值：false  

17. */   

18. $result = $httpsqs->get($queue_name);   

19.   

20. /*  

21. 3. 從一個隊列中取出文本信息和當前隊列讀取點Pos 

22.     返回數組示例：array("pos" => 7, "data" => "text message") 

23.     若是沒有未被取出的隊列，則返回數組：array("pos" => 0, "data" => "HTTPSQS_GET_END") 

24.     若是發生錯誤，返回布爾值：false 

25. */   

26. $result = $httpsqs->gets($queue_name);  

27.   

28. /*  

29. 4. 查看隊列狀態（普通方式） 

30. */   

31. $result = $httpsqs->status($queue_name);  

32.   

33. /*  

34. 5. 查看隊列狀態（JSON方式） 

35.     返回示例：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10} 

36. */   

37. $result = $httpsqs->status_json($queue_name);  

38.    

39. /*  

40. 6. 查看指定隊列位置點的內容 

41.     返回指定隊列位置點的內容。 

42. */   

43. $result = $httpsqs->view($queue_name, $queue_pos);  

44.    

45. /*  

46. 7. 重置指定隊列 

47.     若是重置隊列成功，返回布爾值：true  

48.     若是重置隊列失敗，返回布爾值：false  

49. */   

50. $result = $httpsqs->reset($queue_name);  

51.    

52. /*  

53. 8. 更改指定隊列的最大隊列數量 

54.    若是更改爲功，返回布爾值：true 

55.    若是更改操做被取消，返回布爾值：false 

56. */   

57. $result = $httpsqs->maxqueue($queue_name, $num);  

58.   

59. /* 

60. 9. 修改定時刷新內存緩衝區內容到磁盤的間隔時間 

61.    若是更改爲功，返回布爾值：true 

62.    若是更改操做被取消，返回布爾值：false 

63. */  

64. $result = $httpsqs->synctime($num);  

65. ?>