知識(shí)預(yù)覽

• RabbitMQ

回到頂部

RabbitMQ

什么叫消息隊(duì)列

消息（Message）是指在應(yīng)用間傳送的數(shù)據(jù)。消息可以非常簡(jiǎn)單，比如只包含文本字符串，也可以更復(fù)雜，可能包含嵌入對(duì)象。

消息隊(duì)列（Message Queue）是一種應(yīng)用間的通信方式，消息發(fā)送后可以立即返回，由消息系統(tǒng)來確保消息的可靠傳遞。消息發(fā)布者只管把消息發(fā)布到 MQ 中而不用管誰(shuí)來取，消息使用者只管從 MQ 中取消息而不管是誰(shuí)發(fā)布的。這樣發(fā)布者和使用者都不用知道對(duì)方的存在。

為何用消息隊(duì)列

從上面的描述中可以看出消息隊(duì)列是一種應(yīng)用間的異步協(xié)作機(jī)制，那什么時(shí)候需要使用 MQ 呢？

以常見的訂單系統(tǒng)為例，用戶點(diǎn)擊【下單】按鈕之后的業(yè)務(wù)邏輯可能包括：扣減庫(kù)存、生成相應(yīng)單據(jù)、發(fā)紅包、發(fā)短信通知。在業(yè)務(wù)發(fā)展初期這些邏輯可能放在一起同步執(zhí)行，隨著業(yè)務(wù)的發(fā)展訂單量增長(zhǎng)，需要提升系統(tǒng)服務(wù)的性能，這時(shí)可以將一些不需要立即生效的操作拆分出來異步執(zhí)行，比如發(fā)放紅包、發(fā)短信通知等。這種場(chǎng)景下就可以用 MQ ，在下單的主流程（比如扣減庫(kù)存、生成相應(yīng)單據(jù)）完成之后發(fā)送一條消息到 MQ 讓主流程快速完結(jié)，而由另外的單獨(dú)線程拉取MQ的消息（或者由 MQ 推送消息），當(dāng)發(fā)現(xiàn) MQ 中有發(fā)紅包或發(fā)短信之類的消息時(shí)，執(zhí)行相應(yīng)的業(yè)務(wù)邏輯。

RabbitMQ?

RabbitMQ 是一個(gè)由 Erlang 語(yǔ)言開發(fā)的 AMQP 的開源實(shí)現(xiàn)。

rabbitMQ是一款基于AMQP協(xié)議的消息中間件，它能夠在應(yīng)用之間提供可靠的消息傳輸。在易用性，擴(kuò)展性，高可用性上表現(xiàn)優(yōu)秀。使用消息中間件利于應(yīng)用之間的解耦，生產(chǎn)者（客戶端）無(wú)需知道消費(fèi)者（服務(wù)端）的存在。而且兩端可以使用不同的語(yǔ)言編寫，大大提供了靈活性。

中文文檔

rabbitMQ安裝

　forLinux： 復(fù)制代碼 安裝配置epel源$ rpm -ivh http://dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm安裝erlang$ yum -y install erlang安裝RabbitMQ$ yum -y install rabbitmq-server 復(fù)制代碼 注意：service rabbitmq-server start/stop

rabbitMQ工作模型

簡(jiǎn)單模式

示例

# ######################### 生產(chǎn)者 ######################### #!/usr/bin/env python import pika connection = pika.BlockingConnection(pika.ConnectionParameters( host='localhost')) channel = connection.channel() channel.queue_declare(queue='hello') channel.basic_publish(exchange='',routing_key='hello',body='Hello World!') print(" [x] Sent 'Hello World!'") connection.close() # ########################## 消費(fèi)者 ########################## connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel() channel.queue_declare(queue='hello')def callback(ch, method, properties, body):print(" [x] Received %r" % body)channel.basic_consume( callback,queue='hello',no_ack=True) print(' [*] Waiting for messages. To exit press CTRL+C') channel.start_consuming()

相關(guān)參數(shù)

（1）no-ack ＝ False，如果消費(fèi)者遇到情況(its channel is closed, connection is closed, or TCP connection is lost)掛掉了，那么，RabbitMQ會(huì)重新將該任務(wù)添加到隊(duì)列中。

• 回調(diào)函數(shù)中的ch.basic_ack(delivery_tag=method.delivery_tag)
• basic_comsume中的no_ack=False

消息接收端應(yīng)該這么寫:

import pika connection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4')) channel = connection.channel() channel.queue_declare(queue='hello')def callback(ch, method, properties, body):print(" [x] Received %r" % body)import timetime.sleep(10)print 'ok'ch.basic_ack(delivery_tag = method.delivery_tag)channel.basic_consume(callback,queue='hello',no_ack=False)print(' [*] Waiting for messages. To exit press CTRL+C') channel.start_consuming()

(2)? durable? ：消息不丟失

# 生產(chǎn)者 #!/usr/bin/env python import pika connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.queue_declare(queue='hello1', durable=True)
channel.basic_publish(exchange='',
routing_key='hello1',
body='Hello World%s!',
properties=pika.BasicProperties(delivery_mode=2)) # make message persistent

print(" [x] Sent 'Hello World!'")
connection.close() # 消費(fèi)者
import pika ? connection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost'))
channel = connection.channel()
channel.queue_declare(queue='hello1', durable=True)


def callback(ch, method, properties, body):
# exit()
print(" [x] Received %r" % body)
# 如果有消費(fèi)者掛了可以使用,
# no_ack = False
ch.basic_ack(delivery_tag=method.delivery_tag) # 回饋機(jī)制打開,打開此行


channel.basic_consume(callback,
queue='hello1',
no_ack=False) # 回饋機(jī)制打開

print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()

(3) 消息獲取順序

默認(rèn)消息隊(duì)列里的數(shù)據(jù)是按照順序被消費(fèi)者拿走，例如：消費(fèi)者1 去隊(duì)列中獲取 奇數(shù) 序列的任務(wù)，消費(fèi)者1去隊(duì)列中獲取 偶數(shù) 序列的任務(wù)。

channel.basic_qos(prefetch_count=1) 表示誰(shuí)來誰(shuí)取，不再按照奇偶數(shù)排列

#!/usr/bin/env python # -*- coding:utf-8 -*- import pikaconnection = pika.BlockingConnection(pika.ConnectionParameters(host='10.211.55.4')) channel = connection.channel()# make message persistent channel.queue_declare(queue='hello')def callback(ch, method, properties, body):print(" [x] Received %r" % body)import timetime.sleep(10)print 'ok'ch.basic_ack(delivery_tag = method.delivery_tag)channel.basic_qos(prefetch_count=1)channel.basic_consume(callback,queue='hello',no_ack=False)print(' [*] Waiting for messages. To exit press CTRL+C') channel.start_consuming()

exchange模型

3.1 發(fā)布訂閱

發(fā)布訂閱和簡(jiǎn)單的消息隊(duì)列區(qū)別在于，發(fā)布訂閱會(huì)將消息發(fā)送給所有的訂閱者，而消息隊(duì)列中的數(shù)據(jù)被消費(fèi)一次便消失。所以，RabbitMQ實(shí)現(xiàn)發(fā)布和訂閱時(shí)，會(huì)為每一個(gè)訂閱者創(chuàng)建一個(gè)隊(duì)列，而發(fā)布者發(fā)布消息時(shí)，會(huì)將消息放置在所有相關(guān)隊(duì)列中。

exchange type = fanout # 生產(chǎn)者 #!/usr/bin/env python import pika import sysconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel() channel.exchange_declare(exchange='logs',exchange_type='fanout') # 創(chuàng)建一個(gè)channel 然后聲明其為exchange模式 生產(chǎn)者或消費(fèi)者哪個(gè)先運(yùn)行,誰(shuí)先創(chuàng)建(在rabbitmq中創(chuàng)建)message = ' '.join(sys.argv[1:]) or "info: Hello World!" channel.basic_publish(exchange='logs', # 將數(shù)據(jù)寫入到exchange中routing_key='',body=message) print(" [x] Sent %r" % message) connection.close()# 消費(fèi)者 #!/usr/bin/env python import pikaconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel() channel.exchange_declare(exchange='logs',exchange_type='fanout') # 同生產(chǎn)者result = channel.queue_declare(exclusive=True) # 在channel聲明并聲明一個(gè)訂閱者隊(duì)列 queue_name = result.method.queue # 自動(dòng)給queue起個(gè)名字channel.queue_bind(exchange='logs', # 將剛才聲明的queue與exchange綁定queue=queue_name)print(' [*] Waiting for logs. To exit press CTRL+C')def callback(ch, method, properties, body):print(" [x] %r" % body)channel.basic_consume(callback,queue=queue_name,no_ack=True)channel.start_consuming() View Code

?3.2 關(guān)鍵字發(fā)送

exchange type = direct

之前事例，發(fā)送消息時(shí)明確指定某個(gè)隊(duì)列并向其中發(fā)送消息，RabbitMQ還支持根據(jù)關(guān)鍵字發(fā)送，即：隊(duì)列綁定關(guān)鍵字，發(fā)送者將數(shù)據(jù)根據(jù)關(guān)鍵字發(fā)送到消息exchange，exchange根據(jù) 關(guān)鍵字 判定應(yīng)該將數(shù)據(jù)發(fā)送至指定隊(duì)列。

#!/usr/bin/env python import pika import sysconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel()channel.exchange_declare(exchange='direct_logs',type='direct')result = channel.queue_declare(exclusive=True) queue_name = result.method.queueseverities = sys.argv[1:] if not severities:sys.stderr.write("Usage: %s [info] [warning] [error]\n" % sys.argv[0])sys.exit(1)for severity in severities:channel.queue_bind(exchange='direct_logs',queue=queue_name,routing_key=severity)print(' [*] Waiting for logs. To exit press CTRL+C')def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body))channel.basic_consume(callback,queue=queue_name,no_ack=True)channel.start_consuming()消費(fèi)者 消費(fèi)者 #!/usr/bin/env python import pika import sysconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel()channel.exchange_declare(exchange='direct_logs',type='direct')severity = sys.argv[1] if len(sys.argv) > 1 else 'info' message = ' '.join(sys.argv[2:]) or 'Hello World!' channel.basic_publish(exchange='direct_logs',routing_key=severity,body=message) print(" [x] Sent %r:%r" % (severity, message)) connection.close()生產(chǎn)者 生產(chǎn)者

?

3.3 模糊匹配

exchange type = topic

發(fā)送者路由值 隊(duì)列中 old.boy.python old.* -- 不匹配 old.boy.python old.# -- 匹配

在topic類型下，可以讓隊(duì)列綁定幾個(gè)模糊的關(guān)鍵字，之后發(fā)送者將數(shù)據(jù)發(fā)送到exchange，exchange將傳入”路由值“和 ”關(guān)鍵字“進(jìn)行匹配，匹配成功，則將數(shù)據(jù)發(fā)送到指定隊(duì)列。

• # 表示可以匹配 0 個(gè) 或 多個(gè) 單詞
• * ?表示只能匹配 一個(gè) 單詞

?示例：

#!/usr/bin/env python import pika import sysconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel()channel.exchange_declare(exchange='topic_logs',type='topic')result = channel.queue_declare(exclusive=True) queue_name = result.method.queuebinding_keys = sys.argv[1:] if not binding_keys:sys.stderr.write("Usage: %s [binding_key]...\n" % sys.argv[0])sys.exit(1)for binding_key in binding_keys:channel.queue_bind(exchange='topic_logs',queue=queue_name,routing_key=binding_key)print(' [*] Waiting for logs. To exit press CTRL+C')def callback(ch, method, properties, body):print(" [x] %r:%r" % (method.routing_key, body))channel.basic_consume(callback,queue=queue_name,no_ack=True)channel.start_consuming()消費(fèi)者 消費(fèi)者 #!/usr/bin/env python import pika import sysconnection = pika.BlockingConnection(pika.ConnectionParameters(host='localhost')) channel = connection.channel()channel.exchange_declare(exchange='topic_logs',type='topic')routing_key = sys.argv[1] if len(sys.argv) > 1 else 'anonymous.info' message = ' '.join(sys.argv[2:]) or 'Hello World!' channel.basic_publish(exchange='topic_logs',routing_key=routing_key,body=message) print(" [x] Sent %r:%r" % (routing_key, message)) connection.close()生產(chǎn)者 生產(chǎn)者

?基于RabbitMQ的RPC

Callback queue 回調(diào)隊(duì)列

一個(gè)客戶端向服務(wù)器發(fā)送請(qǐng)求，服務(wù)器端處理請(qǐng)求后，將其處理結(jié)果保存在一個(gè)存儲(chǔ)體中。而客戶端為了獲得處理結(jié)果，那么客戶在向服務(wù)器發(fā)送請(qǐng)求時(shí)，同時(shí)發(fā)送一個(gè)回調(diào)隊(duì)列地址reply_to。

Correlation id 關(guān)聯(lián)標(biāo)識(shí)

一個(gè)客戶端可能會(huì)發(fā)送多個(gè)請(qǐng)求給服務(wù)器，當(dāng)服務(wù)器處理完后，客戶端無(wú)法辨別在回調(diào)隊(duì)列中的響應(yīng)具體和那個(gè)請(qǐng)求時(shí)對(duì)應(yīng)的。為了處理這種情況，客戶端在發(fā)送每個(gè)請(qǐng)求時(shí)，同時(shí)會(huì)附帶一個(gè)獨(dú)有correlation_id屬性，這樣客戶端在回調(diào)隊(duì)列中根據(jù)correlation_id字段的值就可以分辨此響應(yīng)屬于哪個(gè)請(qǐng)求。

客戶端發(fā)送請(qǐng)求：某個(gè)應(yīng)用將請(qǐng)求信息交給客戶端，然后客戶端發(fā)送RPC請(qǐng)求，在發(fā)送RPC請(qǐng)求到RPC請(qǐng)求隊(duì)列時(shí)，客戶端至少發(fā)送帶有reply_to以及correlation_id兩個(gè)屬性的信息服務(wù)器端工作流： 等待接受客戶端發(fā)來RPC請(qǐng)求，當(dāng)請(qǐng)求出現(xiàn)的時(shí)候，服務(wù)器從RPC請(qǐng)求隊(duì)列中取出請(qǐng)求，然后處理后，將響應(yīng)發(fā)送到reply_to指定的回調(diào)隊(duì)列中客戶端接受處理結(jié)果： 客戶端等待回調(diào)隊(duì)列中出現(xiàn)響應(yīng)，當(dāng)響應(yīng)出現(xiàn)時(shí)，它會(huì)根據(jù)響應(yīng)中correlation_id字段的值，將其返回給對(duì)應(yīng)的應(yīng)用

服務(wù)器端

# !/usr/bin/env python
import pika

# 建立連接，服務(wù)器地址為localhost，可指定ip地址
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))

# 建立會(huì)話
channel = connection.channel()

# 聲明RPC請(qǐng)求隊(duì)列
channel.queue_declare(queue='rpc_queue')


# 數(shù)據(jù)處理方法
def fib(n):
if n == 0:
return 0
elif n == 1:
return 1
else:
return fib(n - 1) + fib(n - 2)


# 對(duì)RPC請(qǐng)求隊(duì)列中的請(qǐng)求進(jìn)行處理
def on_request(ch, method, props, body):
n = int(body)

print(" [.] fib(%s)" % n)

# 調(diào)用數(shù)據(jù)處理方法
response = fib(n)

# 將處理結(jié)果(響應(yīng))發(fā)送到回調(diào)隊(duì)列
ch.basic_publish(exchange='',
routing_key=props.reply_to,
properties=pika.BasicProperties(correlation_id= \
props.correlation_id),
body=str(response))
ch.basic_ack(delivery_tag=method.delivery_tag)


# 負(fù)載均衡，同一時(shí)刻發(fā)送給該服務(wù)器的請(qǐng)求不超過一個(gè)
channel.basic_qos(prefetch_count=1)

# 服務(wù)器訂閱RPC請(qǐng)求隊(duì)列，當(dāng)隊(duì)列中有請(qǐng)求時(shí)，將調(diào)用`on_request`方法處理請(qǐng)求
channel.basic_consume(on_request, queue='rpc_queue') # 拿到客戶端發(fā)送過來的數(shù)據(jù),然后執(zhí)行on_request方法

print(" [x] Awaiting RPC requests")
channel.start_consuming()

客戶端

# !/usr/bin/env python
import pika
import uuid


class FibonacciRpcClient(object):
def __init__(self):
"""
客戶端啟動(dòng)時(shí)，創(chuàng)建回調(diào)隊(duì)列，會(huì)開啟會(huì)話用于發(fā)送RPC請(qǐng)求以及接受響應(yīng)

"""
# 建立連接，指定服務(wù)器的ip地址,連接到rabbitmq服務(wù)器
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
# 建立一個(gè)會(huì)話，每個(gè)channel代表一個(gè)會(huì)話任務(wù)
self.channel = self.connection.channel()
# 聲明回調(diào)隊(duì)列，再次聲明的原因是，服務(wù)器和客戶端可能先后開啟，該聲明是冪等的，多次聲明，但只生效一次
result = self.channel.queue_declare(exclusive=True)
# 將次隊(duì)列指定為當(dāng)前客戶端的回調(diào)隊(duì)列
self.callback_queue = result.method.queue # 注意理解=后面代碼的意思,隨機(jī)創(chuàng)建名字

# 客戶端訂閱回調(diào)隊(duì)列，當(dāng)回調(diào)隊(duì)列中有響應(yīng)時(shí)，調(diào)用`on_response`方法對(duì)響應(yīng)進(jìn)行處理;
self.channel.basic_consume(self.on_response, no_ack=True,
queue=self.callback_queue) # 定義客戶端消費(fèi)回調(diào)隊(duì)列時(shí)的方法

# 對(duì)回調(diào)隊(duì)列中的響應(yīng)進(jìn)行處理的函數(shù)
def on_response(self, ch, method, props, body):
if self.corr_id == props.correlation_id:
self.response = body

# 發(fā)出RPC請(qǐng)求
def call(self, n):
# 初始化 response
self.response = None
# 生成correlation_id
self.corr_id = str(uuid.uuid4()) # 給發(fā)送的數(shù)據(jù)進(jìn)行標(biāo)記,當(dāng)不同的數(shù)據(jù)發(fā)送時(shí),返回的值必須知曉是哪個(gè)數(shù)據(jù)的結(jié)果
# 發(fā)送RPC請(qǐng)求內(nèi)容到RPC請(qǐng)求隊(duì)列`rpc_queue`，同時(shí)發(fā)送的還有`reply_to`和`correlation_id`
self.channel.basic_publish(exchange='',
routing_key='rpc_queue',
properties=pika.BasicProperties(
reply_to=self.callback_queue, # 聲明對(duì)方發(fā)送的數(shù)據(jù)是發(fā)送到哪個(gè)隊(duì)列中
correlation_id=self.corr_id, # 數(shù)據(jù)標(biāo)記字符串
),
body=str(n)) # 將數(shù)據(jù)發(fā)送到rpc_queue中

while self.response is None: # 判定response是否有值,沒有值的話一直在這while循環(huán)
self.connection.process_data_events() # basic_consume和他有關(guān)
return int(self.response)


# 建立客戶端
fibonacci_rpc = FibonacciRpcClient() # 第一步創(chuàng)建對(duì)象執(zhí)行init方法

# 發(fā)送RPC請(qǐng)求
print(" [x] Requesting fib(30)")
response = fibonacci_rpc.call(30) # 第二步執(zhí)行call方法
print(" [.] Got %r" % response) ?

?

?

sudo rabbitmqctl add_user alex 123 # 設(shè)置用戶為administrator角色 sudo rabbitmqctl set_user_tags alex administrator # 設(shè)置權(quán)限 sudo rabbitmqctl set_permissions -p "/" alex '.''.''.'# 然后重啟rabbiMQ服務(wù) sudo /etc/init.d/rabbitmq-server restart# 然后可以使用剛才的用戶遠(yuǎn)程連接rabbitmq server了。------------------------------ credentials = pika.PlainCredentials("alex","123")connection = pika.BlockingConnection(pika.ConnectionParameters('192.168.14.47',credentials=credentials))

?

轉(zhuǎn)載于:https://www.cnblogs.com/buyisan/p/8510970.html

總結(jié)

以上是生活随笔為你收集整理的消息队列之RabbitMQ的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。