Beanstalkd 隊列的使用

安裝

  1. 官網:https://kr.github.io/beanstalkd/
  2. 安裝(也能夠採用composer進行安裝)
yum install beanstalkd --enablerepo=epel

或者

 composer require pda/pheanstalk
  • 1
  1. 啓動(0.0.0.0能夠運行任何ip進行鏈接)git

    /usr/bin/beanstalkd -l 0.0.0.0 -p 11300 -b /var/lib/beanstalkd/binlog -F
    • 1

    -b 開啓binlog,斷電後重啓會自動恢復任務。github

  2. 配置文件composer

/etc/sysconfig/beanstalkd
  • 1

基本概念


  1. Beanstalkd設計裏面的核心概念:異步

    • job:一個須要異步處理的任務,是 Beanstalkd 中的基本單元,須要放在一個 tube 中。分佈式

    • tube:一個有名的任務隊列,用來存儲統一類型的 job,是 producer 和 consumer 操做的對象。ui

    • producer:Job 的生產者,經過 put 命令來將一個 job 放到一個 tube 中。spa

    • consumer:Job的消費者,經過 reserve/release/bury/delete 命令來獲取 job 或改變 job 的狀態。設計

  2. job 的生命週期code

image

當producer直接put一個job時,job就處於READY狀態,等待consumer來處理,若是選擇延遲put,job就先到DELAYED狀態,等待時間事後才遷移到READY狀態。server

consumer獲取了當前READY的job後,該job的狀態就遷移到RESERVED,這樣其餘的consumer就不能再操做該job。當consumer完成該job後,能夠選擇delete, release或者bury操做;delete以後,job從系統消亡,以後不能再獲取;release操做能夠從新把該job狀態遷移回READY(也能夠延遲該狀態遷移操做),使其餘的consumer能夠繼續獲取和執行該job;有意思的是bury操做,能夠把該job休眠,等到須要的時候,再將休眠的job kick回READY狀態,也能夠delete BURIED狀態的job。

正是有這些有趣的操做和狀態,才能夠基於此作出不少意思的應用,好比要實現一個循環隊列,就能夠將RESERVED狀態的job休眠掉,等沒有READY狀態的job時再將BURIED狀態的job一次性kick回READY狀態。

  • READY - 須要當即處理的任務,當延時 (DELAYED) 任務到期後會自動成爲當前任務;

  • DELAYED - 延遲執行的任務, 當消費者處理任務後, 能夠用將消息再次放回 DELAYED 隊列延遲執行;

  • RESERVED - 已經被消費者獲取, 正在執行的任務。Beanstalkd 負責檢查任務是否在 TTR(time-to-run) 內完成;

  • BURIED - 保留的任務: 任務不會被執行,也不會消失,除非有人把它 「踢」 回隊列;

  • DELETED - 消息被完全刪除。Beanstalkd 再也不維持這些消息。

一些特性

  • 優先級

任務 (job) 能夠有 0~2^32 個優先級, 0 表明最高優先級,默認優先級爲1024。

  • 持久化

能夠經過binlog將job及其狀態記錄到文件裏面,在Beanstalkd下次啓動時能夠經過讀取binlog來恢復以前的job及狀態。

  • 分佈式容錯

分佈式設計和Memcached相似,beanstalkd各個server之間並不知道彼此的存在,都是經過client來實現分佈式以及根據tube名稱去特定server獲取job。

  • 超時控制 
    爲了防止某個consumer長時間佔用任務但不能處理的狀況,Beanstalkd爲reserve操做設置了timeout時間,若是該consumer不能在指定時間內完成job,job將被遷移回READY狀態,供其餘consumer執行。

Client Libraries For PHP

項目地址:https://github.com/pda/pheanstalk/

  1. Producer 示例:向隊列中添加job
$pheanstalk = new Pheanstalk_Pheanstalk('127.0.0.1');

$pheanstalk ->useTube('tubeName') ->put($jobData);
  1. Consumer 示例:從隊列中取出job
$job = $pheanstalk ->watch('tubeName') ->ignore('default') ->reserve();

echo $job->getData();

$pheanstalk->delete($job);
  1. 檢查服務狀態
$isAlive = $pheanstalk->getConnection()->isServiceListening(); //返回 true 或 false
四、獲取某一 tube 的數據
try{
    $tubeStatus = $pheanstalk->statsTube('tubeName');
} catch (Exception $e){
    if($e->getMessage()=='Server reported NOT_FOUND'){     //tube 不存在
        $current_jobs_ready = 0;
    }
}
相關文章
相關標籤/搜索