消息队列服务器 轻量,PHP的轻量消息队列php-resque使用说明
消息隊列處理后臺任務帶來的問題
項目中經常會有后臺運行任務的需求，比如發送郵件時，因為要連接郵件服務器，往往需要5-10秒甚至更長時間，如果能先給用戶一個成功的提示信息，然后在后臺慢慢處理發送郵件的操作，顯然會有更好的用戶體驗。
為了實現類似的需求，Web項目中一般的實現方法是使用消息隊列(Message Queue)，比如MemcacheQ，RabbitMQ等等，都是很著名的產品。
消息隊列說白了就是一個最簡單的先進先出隊列，隊列的一個成員就是一段文本。正是因為消息隊列實在太簡單了，當拿著消息隊列時，反而有點無從下手的感覺，因為這僅僅一個發送郵件的任務，就會引申出很多問題：
消息隊列只能存儲字符串類型的數據，如何將一個發送郵件這樣的“任務”，轉換為消息隊列中的一個“消息”?
消息隊列只負責數據的存放與進出，本身不能執行任何程序，那么我們要如何從消息隊列中一個一個取出數據，再將這些數據轉化回任務并執行。
我們無法預知消息隊列何時會有數據產生，所以我們的任務執行程序還需要具備監控消息隊列的能力，也就是一個常駐后臺的守護進程。
一般的Web應用PHP都以cgi方式運行，無法常駐內存。我們知道php還有cli模式，那么守護進程是否能以php cli來實現，效率如何？
當守護進程運行時，Web應用能否與后臺守護進程交互，實現開啟/殺死進程的功能以及獲得進程的運行狀態？
Resque對后臺任務的設計與角色劃分
對以上這些問題，目前為止我能找到的最好答案，并不是來自php，而是來自Ruby的項目Resque，正是由于Resque清晰簡單的解決了后臺任務帶來的一系列問題，Resque的設計也被Clone到Python、php、NodeJs等語言：比如Python下的pyres以及PHP下的php-resque等等，這里有各種語言版本的Resque實現，而在本篇日志里，我們當然要以PHP版本為例來說明如何用php-resque運行一個后臺任務，可能一些細節方面會與Ruby版有出入，但是本文中以php版為準。
Resque是這樣解決這些問題的：
后臺任務的角色劃分
其實從上面的問題已經可以看出，只靠一個消息隊列是無法解決所有問題的，需要新的角色介入。在Resque中，一個后臺任務被抽象為由三種角色共同完成：
Job | 任務 ： 一個Job就是一個需要在后臺完成的任務，比如本文舉例的發送郵件，就可以抽象為一個Job。在Resque中一個Job就是一個Class。
Queue | 隊列 ： 也就是上文的消息隊列，在Resque中，隊列則是由Redis實現的。Resque還提供了一個簡單的隊列管理器，可以實現將Job插入/取出隊列等功能。
Worker | 執行者 ： 負責從隊列中取出Job并執行，可以以守護進程的方式運行在后臺。
那么基于這個劃分，一個后臺任務在Resque下的基本流程是這樣的：
將一個后臺任務編寫為一個獨立的Class，這個Class就是一個Job。
在需要使用后臺程序的地方，系統將Job Class的名稱以及所需參數放入隊列。
以命令行方式開啟一個Worker，并通過參數指定Worker所需要處理的隊列。
Worker作為守護進程運行，并且定時檢查隊列。
當隊列中有Job時，Worker取出Job并運行，即實例化Job Class并執行Class中的方法。
至此就可以完整的運行完一個后臺任務。
在Resque中，還有一個很重要的設計：一個Worker，可以處理一個隊列，也可以處理很多個隊列，并且可以通過增加Worker的進程/線程數來加快隊列的執行速度。
php-resque的安裝
需要提前說明的是，由于涉及到進程的開辟與管理，php-resque使用了php的PCNTL函數，所以只能在Linux下運行，并且需要php編譯PCNTL函數。如果希望用Windows做同樣的工作，那么可以去找找Resque的其他語言版本，php在Windows下非常不適合做后臺任務。
以Ubuntu12.04LTS為例，Ubuntu用apt安裝的php已經默認編譯了PCNTL函數，無需任何配置，以下指令均為root帳號
安裝Redis
apt-get install redis-server
安裝Composer
apt-get install curl
cd /usr/local/bin
curl -s http://getcomposer.org/installer | php
chmod a+x composer.phar
alias composer='/usr/local/bin/composer.phar'
使用Composer安裝php-resque
假設web目錄在/opt/htdocs
apt-get install git git-core
cd /opt/htdocs
git clone git://github.com/chrisboulton/php-resque.git
cd php-resque
composer install
php-resque的使用
編寫一個Worker
其實php-resque已經給出了簡單的例子， demo/job.php文件就是一個最簡單的Job：
class PHP_Job
{
public function perform()
{
sleep(120);
fwrite(STDOUT, 'Hello!');
}
}
這個Job就是在120秒后向STDOUT輸出字符Hello!
在Resque的設計中，一個Job必須存在一個perform方法，Worker則會自動運行這個方法。
將Job插入隊列
php-resque也給出了最簡單的插入隊列實現 demo/queue.php：
if(empty($argv[1])) {
die('Specify the name of a job to add. e.g, php queue.php PHP_Job');
}
require __DIR__ . '/init.php';
date_default_timezone_set('GMT');
Resque::setBackend('127.0.0.1:6379');
$args = array(
'time' => time(),
'array' => array(
'test' => 'test',
),
);
$jobId = Resque::enqueue('default', $argv[1], $args, true);
echo "Queued job ".$jobId."\n\n";
在這個例子中，queue.php需要以cli方式運行，將cli接收到的第一個參數作為Job名稱，插入名為'default'的隊列，同時向屏幕輸出剛才插入隊列的Job Id。在終端輸入：
php demo/queue.php PHP_Job
結果可以看到屏幕上輸出：
Queued job b1f01038e5e833d24b46271a0e31f6d6
即Job已經添加成功。注意這里的Job名稱與我們編寫的Job Class名稱保持一致：PHP_Job
查看Job運行情況
php-resque同樣提供了查看Job運行狀態的例子，直接運行：
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6
可以看到輸出為：
Tracking status of b1f01038e5e833d24b46271a0e31f6d6. Press [break] to stop.
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 1
我們剛才創建的Job狀態為1。在Resque中，一個Job有以下4種狀態：
Resque_Job_Status::STATUS_WAITING = 1; (等待)
Resque_Job_Status::STATUS_RUNNING = 2; (正在執行)
Resque_Job_Status::STATUS_FAILED = 3; (失敗)
Resque_Job_Status::STATUS_COMPLETE = 4; (結束)
因為沒有Worker運行，所以剛才創建的Job還是等待狀態。
運行Worker
這次我們直接編寫demo/resque.php：
date_default_timezone_set('GMT');
require 'job.php';
require '../bin/resque';
可以看到一個Worker至少需要兩部分：
可以直接包含Job類文件，也可以使用php的自動加載機制，指定好Job Class所在路徑并能實現自動加載
包含Resque的默認Worker： bin/resque
在終端中運行：
QUEUE=default php demo/resque.php
前面的QUEUE部分是設置環境變量，我們指定當前的Worker只負責處理default隊列。也可以使用
QUEUE=* php demo/resque.php
來處理所有隊列。
運行后輸出為
#!/usr/bin/env php
*** Starting worker
用ps指令檢查一下：
ps aux | grep resque
可以看到有一個php的守護進程已經在運行了
1000 4607 0.0 0.1 74816 11612 pts/3 S+ 14:52 0:00 php demo/resque.php
再使用之前的檢查Job指令
php demo/check_status.php b1f01038e5e833d24b46271a0e31f6d6
2分鐘后可以看到
Status of b1f01038e5e833d24b46271a0e31f6d6 is: 4
任務已經運行完畢，同時屏幕上應該可以看到輸出的Hello!
至此我們已經成功的完成了一個最簡單的Resque實例的全部演示，更復雜的情況以及遺留的問題會在下一次的日志中說明。
redis resque消息隊列
Resque 目前正在學習使用resque .resque-scheduler來發布異步任務和定時任務,為了方便以后查閱,所以記錄一下. resque和resque-scheduler其優點在于功能比 ...
PHP memcache實現消息隊列實例
現在,memcache于server緩存廣泛應用.下面我來介紹一下memcache消息隊列中等待的樣本實現,有需要了解的朋友可以參考. memche消息隊列原則key上做文章.后消息或者日志. 然后通 ...
為什么會需要消息隊列(MQ)？
為什么會需要消息隊列(MQ)? #################################################################################### ...
消息隊列一：為什么需要消息隊列(MQ)？
為什么會需要消息隊列(MQ)? #################################################################################### ...
基于Raft深度優化，騰訊云金融級消息隊列CMQ高可靠算法詳解
背景介紹 分布式系統是指一組獨立的計算機,通過網絡協同工作的系統,客戶端看來就如同單臺機器在工作.隨著互聯網時代數據規模的爆發式增長,傳統的單機系統在性能和可用性上已經無法勝任,分布式系統具有擴展性強 ...
高性能消息隊列NSQ
前言 最近我再網上尋找使用golang實現的mq,因為我知道golang一般實現的應用部署起來很方便,所以我就找到了一個叫做nsq的mq,其實它并不能完全稱為隊列,但是它的輕量和性能的高效,讓我真的大 ...
MQTT----物聯網常用的消息隊列協議
MQTT(Message Queuing Telemetry Transport,消息隊列遙測傳輸協議),是一種基于發布/訂閱(publish/subscribe)模式的“輕量級”通訊協議,該協議構建 ...
分布式消息隊列RocketMQ與Kafka架構上的巨大差異
分布式消息服務 Kafka 是一個高吞吐.高可用的消息中間件服務,適用于構建實時數據管道.流式數據處理.第三方解耦.流量削峰去谷等場景,具有大規模.高可靠.高并發訪問.可擴展且完全托管的特點,是分布式 ...
分布式消息隊列RocketMQ與Kafka架構上的巨大差異之1 -- 為什么RocketMQ要去除ZK依賴？
我們知道,在早期的RocketMQ版本中,是有依賴ZK的.而現在的版本中,是去掉了對ZK的依賴,轉而使用自己開發的NameSrv. 并且這個NameSrv是無狀態的,你可以隨意的部署多臺,其代碼也非常 ...
隨機推薦
[轉] 前端中的MVC
MVC是一種設計模式,它將應用劃分為3個部分:數據(模型).展現層(視圖)和用戶交互(控制器).其中: M - MODEL(模型) V - VIEW(視圖) C - CONTROLLER(控制器) 一 ...
Journey Of Code組組員貢獻率
628是該組的組長,前期的主要任務是數據庫的設計,中后期加入實現功能模塊的工作,實現了文件的上傳和解析excel表格的功能,負責協調組員之間的工作和溝通,并且也是最后上臺進行演示的人員:所以貢獻率有3 ...
NOIP2013，復賽及同步賽，報名及比賽，專題頁面
本通知的對象僅僅是福州第十九中學的學生 所有參加復賽以及同步賽的選手,請務必要仔細閱讀:,里面有比賽的時間.地點.以及比賽費用的說明. 參 ...
Cordova+angularjs+ionic+vs2015開發(二)
歡迎加群學習:457351423?這里有4000多部學習視頻,涵蓋各種技術,有需要的歡迎進群學習! 一.創建空白Cordova應用 打開VS,選擇[新建項目],選擇其它語言JavaScript或者Ty ...
linux mysql 卸載后重裝
$sudo apt-get remove mysql-common清理殘留數據:$sudo dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P ...
LVDS/RGB轉EDP穩定方案----NCS8801S
目前山寨平板市場已經進入白熱化,同質化的競爭.廠商的利潤被壓得非常的薄.一味的價格戰肯定會帶來行業洗牌.差異化是許多廠商的選擇,而其中一條重要的路子,就是采用高分辨率的down-grade屏.如蘋果的 ...
temp-黃河農商行路徑
-------------------------------黃河農村商業銀行------------------------------------ --1.--svn 地址:http://10.0 ...
[Python學習筆記] 字符串類型及操作
字符串處理 索引:返回字符串中單個字符 [M] 切片:返回字符串中一段字符子串 [M:N:K] 字符串格式化使用.format()方法
redis高可用(主從復制)
熟練掌握redis需要從 reids如何操作5種基本數據類型,redis如何集群,reids主從復制,redis哨兵機制redis持久化 reids主從復制 的作用可以:實現數據備份,讀寫分離,集群, ...
python--事務操作
#coding=utf-8 import sys import MySQLdb class TransferMoney(object): def __init__(self,conn): self.c ...
總結
以上是生活随笔為你收集整理的消息队列服务器 轻量,PHP的轻量消息队列php-resque使用说明的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 明日之后服务器维修会补偿什么,明日之后：
- 下一篇： Nginx+PHP实时生成不同尺寸图片