Beanstalkd一個高性能分佈式內存隊列系統

時間 2019-11-11

原文原文鏈接

Beanstalkd之於RabbitMQ，就比如Nginx之於Apache，Varnish之於Squid。後面在項目中使用Beanstalkd的過程當中，更發現其簡單、輕量級、高性能、易使用等特色，以及優先級、多隊列、持久化、分佈式容錯、超時控制等特性。下面就簡單介紹一下Beanstalkd。編程

以前在微博上調查過你們正在使用的分佈式內存隊列系統，反饋有Memcacheq,Fqueue, RabbitMQ, Beanstalkd以及linkedin的kafka。RabbitMQ使用比較普遍，Beanstalkd是後起之秀。Beanstalkd之於RabbitMQ，就比如Nginx之於Apache，Varnish之於Squid。後面在項目中使用Beanstalkd的過程當中，更發現其簡單、輕量級、高性能、易使用等特色，以及優先級、多隊列、持久化、分佈式容錯、超時控制等特性。下面就簡單介紹一下Beanstalkd，不足之處請你們指正。架構

設計思想 異步

高性能離不開異步，異步離不開隊列，而其內部都是Producer-Comsumer模式的原理。編程語言

圖1 Producer-Comsumer模式分佈式

應用 memcached

Beanstalkd，一個高性能、輕量級的分佈式內存隊列系統，最初設計的目的是想經過後臺異步執行耗時的任務來下降高容量Web應用系統的頁面訪問延遲，支持過有9.5 million用戶的Facebook Causes應用。後來開源，如今有PostRank大規模部署和使用，天天處理百萬級任務。Beanstalkd是典型的類Memcached設計，協議和使用方式都是一樣的風格，因此使用過memcached的用戶會以爲Beanstalkd似曾相識。工具

核心概念 性能

Beanstalkd設計裏面的核心概念：網站

◆ job ui

一個須要異步處理的任務，是Beanstalkd中的基本單元，須要放在一個tube中。

◆ tube

一個有名的任務隊列，用來存儲統一類型的job，是producer和consumer操做的對象。

◆ producer

Job的生產者，經過put命令來將一個job放到一個tube中。

◆ consumer

Job的消費者，經過reserve/release/bury/delete命令來獲取job或改變job的狀態。

Beanstalkd中一個job的生命週期如圖2所示。一個job有READY, RESERVED, DELAYED, BURIED四種狀態。當producer直接put一個job時，job就處於READY狀態，等待consumer來處理，若是選擇延遲put，job就先到DELAYED狀態，等待時間事後才遷移到READY狀態。consumer獲取了當前READY的job後，該job的狀態就遷移到RESERVED，這樣其餘的consumer就不能再操做該job。當consumer完成該job後，能夠選擇delete, release或者bury操做;delete以後，job從系統消亡，以後不能再獲取;release操做能夠從新把該job狀態遷移回READY(也能夠延遲該狀態遷移操做)，使其餘的consumer能夠繼續獲取和執行該job;有意思的是bury操做，能夠把該job休眠，等到須要的時候，再將休眠的job kick回READY狀態，也能夠delete BURIED狀態的job。正是有這些有趣的操做和狀態，才能夠基於此作出不少意思的應用，好比要實現一個循環隊列，就能夠將RESERVED狀態的job休眠掉，等沒有READY狀態的job時再將BURIED狀態的job一次性kick回READY狀態。