PHP的輕量消息隊列php-resque使用說明

 

消息隊列處理後臺任務帶來的問題

項目中常常會有後臺運行任務的需求，好比發送郵件時，由於要鏈接郵件服務器，每每須要5-10秒甚至更長時間，若是能先給用戶一個成功的提示信息，而後在後臺慢慢處理髮送郵件的操做，顯然會有更好的用戶體驗。

爲了實現相似的需求，Web項目中通常的實現方法是使用消息隊列(Message Queue)，好比MemcacheQ，RabbitMQ等等，都是很著名的產品。

消息隊列說白了就是一個最簡單的先進先出隊列，隊列的一個成員就是一段文本。正是由於消息隊列實在太簡單了，當拿着消息隊列時，反而有點無從下手的感受，由於這僅僅一個發送郵件的任務，就會引伸出不少問題：

1. 消息隊列只能存儲字符串類型的數據，如何將一個發送郵件這樣的「任務」，轉換爲消息隊列中的一個「消息」?
2. 消息隊列只負責數據的存放與進出，自己不能執行任何程序，那麼咱們要如何從消息隊列中一個一個取出數據，再將這些數據轉化回任務並執行。
3. 咱們沒法預知消息隊列什麼時候會有數據產生，因此咱們的任務執行程序還須要具有監控消息隊列的能力，也就是一個常駐後臺的守護進程。
4. 通常的Web應用PHP都以cgi方式運行，沒法常駐內存。咱們知道php還有cli模式，那麼守護進程是否能以php cli來實現，效率如何？
5. 當守護進程運行時，Web應用可否與後臺守護進程交互，實現開啓/殺死進程的功能以及得到進程的運行狀態？

Resque對後臺任務的設計與角色劃分

對以上這些問題，目前爲止我能找到的最好答案，並非來自php，而是來自Ruby的項目Resque，正是因爲Resque清晰簡單的解決了後臺任務帶來的一系列問題，Resque的設計也被Clone到Python、php、NodeJs等語言：好比Python下的pyres以及PHP下的php-resque等等，這裏有各類語言版本的Resque實現，而在本篇日誌裏，咱們固然要以PHP版本爲例來講明如何用php-resque運行一個後臺任務，可能一些細節方面會與Ruby版有出入，可是本文中以php版爲準。

Resque是這樣解決這些問題的：

後臺任務的角色劃分

其實從上面的問題已經能夠看出，只靠一個消息隊列是沒法解決全部問題的，須要新的角色介入。在Resque中，一個後臺任務被抽象爲由三種角色共同完成：

• Job | 任務 ： 一個Job就是一個須要在後臺完成的任務，好比本文舉例的發送郵件，就能夠抽象爲一個Job。在Resque中一個Job就是一個Class。
• Queue | 隊列 ： 也就是上文的消息隊列，在Resque中，隊列則是由Redis實現的。Resque還提供了一個簡單的隊列管理器，能夠實現將Job插入/取出隊列等功能。
• Worker | 執行者 ： 負責從隊列中取出Job並執行，能夠以守護進程的方式運行在後臺。

那麼基於這個劃分，一個後臺任務在Resque下的基本流程是這樣的：

1. 將一個後臺任務編寫爲一個獨立的Class，這個Class就是一個Job。
2. 在須要使用後臺程序的地方，系統將Job Class的名稱以及所需參數放入隊列。
3. 以命令行方式開啓一個Worker，並經過參數指定Worker所須要處理的隊列。
4. Worker做爲守護進程運行，而且定時檢查隊列。
5. 當隊列中有Job時，Worker取出Job並運行，即實例化Job Class並執行Class中的方法。

至此就能夠完整的運行完一個後臺任務。

在Resque中，還有一個很重要的設計：一個Worker，能夠處理一個隊列，也能夠處理不少個隊列，而且能夠經過增長Worker的進程/線程數來加快隊列的執行速度。

php-resque的安裝

須要提早說明的是，因爲涉及到進程的開闢與管理，php-resque使用了php的PCNTL函數，因此只能在Linux下運行，而且須要php編譯PCNTL函數。若是但願用Windows作一樣的工做，那麼能夠去找找Resque的其餘語言版本，php在Windows下很是不適合作後臺任務。

以Ubuntu12.04LTS爲例，Ubuntu用apt安裝的php已經默認編譯了PCNTL函數，無需任何配置，如下指令均爲root賬號

安裝Redis

apt-get install redis-server

安裝Composer

apt-get install curl
cd /usr/local/bin
curl -s http://getcomposer.org/installer | php chmod a+x composer.phar alias composer='/usr/local/bin/composer.phar' 

使用Composer安裝php-resque

假設web目錄在/opt/htdocs

apt-get install git git-core
cd /opt/htdocs
git clone git://github.com/chrisboulton/php-resque.git cd php-resque composer install 

php-resque的使用

編寫一個Worker

其實php-resque已經給出了簡單的例子， demo/job.php文件就是一個最簡單的Job：

class PHP_Job { public function perform() { sleep(120); fwrite(STDOUT, 'Hello!'); } } 

這個Job就是在120秒後向STDOUT輸出字符Hello!

在Resque的設計中，一個Job必須存在一個perform方法，Worker則會自動運行這個方法。

將Job插入隊列

php-resque也給出了最簡單的插入隊列實現 demo/queue.php：

if(empty($argv[1])) { die('Specify the name of a job to add. e.g, php queue.php PHP_Job'); } require __DIR__ . '/init.php'; date_default_timezone_set('GMT'); Resque::setBackend('127.0.0.1:6379'); $args = array( 'time' => time(), 'array' => array( 'test' => 'test', ), ); $jobId = Resque::enqueue('default', $argv[1], $args, true); echo "Queued job ".$jobId."\n\n"; 

在這個例子中，queue.php須要以cli方式運行，將cli接收到的第一個參數做爲Job名稱，插入名爲'default'的隊列，同時向屏幕輸出剛纔插入隊列的Job Id。在終端輸入：

php demo/queue.php PHP_Job

結果能夠看到屏幕上輸出：

Queued job b1f01038e5e833d24b46271a0e31f6d6

即Job已經添加成功。注意這裏的Job名稱與咱們編寫的Job Class名稱保持一致：PHP_Job

查看Job運行狀況

php-resque一樣提供了查看Job運行狀態的例子，直接運行：

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6

能夠看到輸出爲：

Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press [break] to stop. Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1 

咱們剛纔建立的Job狀態爲1。在Resque中，一個Job有如下4種狀態：

• Resque_Job_Status::STATUS_WAITING = 1; (等待)
• Resque_Job_Status::STATUS_RUNNING = 2; (正在執行)
• Resque_Job_Status::STATUS_FAILED = 3; (失敗)
• Resque_Job_Status::STATUS_COMPLETE = 4; (結束)

由於沒有Worker運行，因此剛纔建立的Job仍是等待狀態。

運行Worker

此次咱們直接編寫demo/resque.php：

<?php date_default_timezone_set('GMT'); require 'job.php'; require '../bin/resque'; 

能夠看到一個Worker至少須要兩部分：

1. 能夠直接包含Job類文件，也可使用php的自動加載機制，指定好Job Class所在路徑並能實現自動加載
2. 包含Resque的默認Worker： bin/resque

在終端中運行：

QUEUE=default php demo/resque.php 

前面的QUEUE部分是設置環境變量，咱們指定當前的Worker只負責處理default隊列。也可使用

QUEUE=* php demo/resque.php 

來處理全部隊列。

運行後輸出爲

#!/usr/bin/env php *** Starting worker 

用ps指令檢查一下：

ps aux | grep resque

能夠看到有一個php的守護進程已經在運行了

1000      4607  0.0  0.1  74816 11612 pts/3    S+   14:52   0:00 php demo/resque.php

再使用以前的檢查Job指令

php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6

2分鐘後能夠看到

Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4 

任務已經運行完畢，同時屏幕上應該能夠看到輸出的Hello!

至此咱們已經成功的完成了一個最簡單的Resque實例的所有演示，更復雜的狀況以及遺留的問題會在下一次的日誌中說明。