消息隊(duì)列和消息

“消息隊(duì)列”(Message queue)是在消息的傳輸過程中保存消息的容器。“消息” 是在兩臺計算機(jī)間傳送的數(shù)據(jù)單位。消息可以非常簡單，例如只包含文本字符串；也可以更復(fù)雜，可能包含嵌入對象。

常見的消息隊(duì)列有那些？

當(dāng)前使用較多的消息隊(duì)列有RabbitMQ、ActiveMQ、RocketMQ、Kafka等等，我們之前提高的redis數(shù)據(jù)庫也可以實(shí)現(xiàn)消息隊(duì)列，不過不推薦，redis本身設(shè)計就不是用來做消息隊(duì)列的。

使用消息隊(duì)列的場景和好處

《大型網(wǎng)站技術(shù)架構(gòu)》第四章和第七章均有提到消息隊(duì)列對應(yīng)用性能及擴(kuò)展性的提升。

1.通過異步處理提高系統(tǒng)性能

如上圖，在不使用消息隊(duì)列服務(wù)器的時候，用戶的請求數(shù)據(jù)直接寫入數(shù)據(jù)庫，在高并發(fā)的情況下數(shù)據(jù)庫壓力劇增，使得響應(yīng)速度變慢。但是在使用消息隊(duì)列之后，用戶的請求數(shù)據(jù)發(fā)送給消息隊(duì)列之后立即 返回，再由消息隊(duì)列的消費(fèi)者進(jìn)程從消息隊(duì)列中獲取數(shù)據(jù)，異步寫入數(shù)據(jù)庫。由于消息隊(duì)列服務(wù)器處理速度快于數(shù)據(jù)庫（消息隊(duì)列也比數(shù)據(jù)庫有更好的伸縮性），因此響應(yīng)速度得到大幅改善。

通過以上分析我們可以得出消息隊(duì)列具有很好的削峰作用的功能——即通過異步處理，將短時間高并發(fā)產(chǎn)生的事務(wù)消息存儲在消息隊(duì)列中，從而削平高峰期的并發(fā)事務(wù)。 舉例：在電子商務(wù)一些秒殺、促銷活動中，合理使用消息隊(duì)列可以有效抵御促銷活動剛開始大量訂單涌入對系統(tǒng)的沖擊。如下圖所示：

因?yàn)?strong>用戶請求數(shù)據(jù)寫入消息隊(duì)列之后就立即返回給用戶了，但是請求數(shù)據(jù)在后續(xù)的業(yè)務(wù)校驗(yàn)、寫數(shù)據(jù)庫等操作中可能失敗。因此使用消息隊(duì)列進(jìn)行異步處理之后，需要適當(dāng)修改業(yè)務(wù)流程進(jìn)行配合，比如用戶在提交訂單之后，訂單數(shù)據(jù)寫入消息隊(duì)列，不能立即返回用戶訂單提交成功，需要在消息隊(duì)列的訂單消費(fèi)者進(jìn)程真正處理完該訂單之后，甚至出庫后，再通過電子郵件或短信通知用戶訂單成功，以免交易糾紛。這就類似我們平時手機(jī)訂火車票和電影票。

2.降低系統(tǒng)耦合性

我們知道模塊分布式部署以后聚合方式通常有兩種：1.分布式消息隊(duì)列和2.分布式服務(wù)。

先來簡單說一下分布式服務(wù)：

目前使用比較多的用來構(gòu)建SOA（Service Oriented Architecture面向服務(wù)體系結(jié)構(gòu)）的分布式服務(wù)框架是阿里巴巴開源的Dubbo.如果想深入了解Dubbo的可以看我寫的關(guān)于Dubbo的這一篇文章：《高性能優(yōu)秀的服務(wù)框架-dubbo介紹》：https://juejin.im/post/5acadeb1f265da2375072f9c

再來談我們的分布式消息隊(duì)列：

我們知道如果模塊之間不存在直接調(diào)用，那么新增模塊或者修改模塊就對其他模塊影響較小，這樣系統(tǒng)的可擴(kuò)展性無疑更好一些。

我們最常見的事件驅(qū)動架構(gòu)類似生產(chǎn)者消費(fèi)者模式，在大型網(wǎng)站中通常用利用消息隊(duì)列實(shí)現(xiàn)事件驅(qū)動結(jié)構(gòu)。如下圖所示：

消息隊(duì)列使利用發(fā)布-訂閱模式工作，消息發(fā)送者（生產(chǎn)者）發(fā)布消息，一個或多個消息接受者（消費(fèi)者）訂閱消息。 從上圖可以看到消息發(fā)送者（生產(chǎn)者）和消息接受者（消費(fèi)者）之間沒有直接耦合，消息發(fā)送者將消息發(fā)送至分布式消息隊(duì)列即結(jié)束對消息的處理，消息接受者從分布式消息隊(duì)列獲取該消息后進(jìn)行后續(xù)處理，并不需要知道該消息從何而來。對新增業(yè)務(wù)，只要對該類消息感興趣，即可訂閱該消息，對原有系統(tǒng)和業(yè)務(wù)沒有任何影響，從而實(shí)現(xiàn)網(wǎng)站業(yè)務(wù)的可擴(kuò)展性設(shè)計。

消息接受者對消息進(jìn)行過濾、處理、包裝后，構(gòu)造成一個新的消息類型，將消息繼續(xù)發(fā)送出去，等待其他消息接受者訂閱該消息。因此基于事件（消息對象）驅(qū)動的業(yè)務(wù)架構(gòu)可以是一系列流程。

另外為了避免消息隊(duì)列服務(wù)器宕機(jī)造成消息丟失，會將成功發(fā)送到消息隊(duì)列的消息存儲在消息生產(chǎn)者服務(wù)器上，等消息真正被消費(fèi)者服務(wù)器處理后才刪除消息。在消息隊(duì)列服務(wù)器宕機(jī)后，生產(chǎn)者服務(wù)器會選擇分布式消息隊(duì)列服務(wù)器集群中的其他服務(wù)器發(fā)布消息。

備注： 不要認(rèn)為消息隊(duì)列只能利用發(fā)布-訂閱模式工作，只不過在解耦這個特定業(yè)務(wù)環(huán)境下是使用發(fā)布-訂閱模式的，比如在我們的ActiveMQ消息隊(duì)列中還有點(diǎn)對點(diǎn)工作模式，具體的會在后面的文章給大家詳細(xì)介紹，這一篇文章主要還是讓大家對消息隊(duì)列有一個更透徹的了解。

常見的消息隊(duì)列介紹

1.ActiveMQ

官網(wǎng)：http://activemq.apache.org/

簡介：

ActiveMQ 是Apache出品，最流行的，能力強(qiáng)勁的開源消息總線。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規(guī)范的 JMS Provider實(shí)現(xiàn),盡管JMS規(guī)范出臺已經(jīng)是很久的事情了,但是JMS在當(dāng)今的J2EE應(yīng)用中間仍然扮演著特殊的地位。

特點(diǎn)：

支持來自Java，C，C ++，C＃，Ruby，Perl，Python，PHP的各種跨語言客戶端和協(xié)議

完全支持JMS客戶端和Message Broker中的企業(yè)集成模式

支持許多高級功能，如消息組，虛擬目標(biāo)，通配符和復(fù)合目標(biāo)

完全支持JMS 1.1和J2EE 1.4，支持瞬態(tài)，持久，事務(wù)和XA消息

Spring支持，以便ActiveMQ可以輕松嵌入到Spring應(yīng)用程序中，并使用Spring的XML配置機(jī)制進(jìn)行配置

專為高性能集群，客戶端 - 服務(wù)器，基于對等的通信而設(shè)計

CXF和Axis支持，以便ActiveMQ可以輕松地放入這些Web服務(wù)堆棧中以提供可靠的消息傳遞

可以用作內(nèi)存JMS提供程序，非常適合單元測試JMS

支持可插拔傳輸協(xié)議，例如in-VM，TCP，SSL，NIO，UDP，多播，JGroups和JXTA傳輸

使用JDBC和高性能日志支持非常快速的持久性

2.RabbitMQ

官網(wǎng)：http://www.rabbitmq.com/

簡介：

RabbitMQ 是一個由 Erlang 語言開發(fā)的 AMQP 的開源實(shí)現(xiàn)。RabbitMQ輕巧且易于部署在云端。 它支持多種消息傳遞協(xié)議。 RabbitMQ可以部署在分布式和聯(lián)合配置中，以滿足高規(guī)模，高可用性需求。RabbitMQ可運(yùn)行在許多操作系統(tǒng)和云環(huán)境中，并為大多數(shù)流行語言提供廣泛的開發(fā)工具。（來自官網(wǎng)翻譯）

AMQP （Advanced MessageQueue）：高級消息隊(duì)列協(xié)議。它是應(yīng)用層協(xié)議的一個開放標(biāo)準(zhǔn)，為面向消息的中間件設(shè)計，基于此協(xié)議的客戶端與消息中間件可傳遞消息，并不受產(chǎn)品、開發(fā)語言等條件的限制。

RabbitMQ最初廣泛應(yīng)用于金融行業(yè)，根據(jù)官網(wǎng)描述，它具有如下特點(diǎn)：

特點(diǎn)：

異步消息傳遞：支持多種消息協(xié)議，消息隊(duì)列，傳送確認(rèn)，靈活的路由到隊(duì)列，多種交換類型；

支持幾乎所有最受歡迎的編程語言：Java，C，C ++，C＃，Ruby，Perl，Python，PHP等等；

可以部署為高可用性和吞吐量的集群; 跨多個可用區(qū)域和區(qū)域進(jìn)行聯(lián)合；

可插入的身份驗(yàn)證，授權(quán)，支持TLS和LDAP。；

提供了一個易用的用戶界面，使得用戶可以監(jiān)控和管理消息 Broker 的許多方面；

提供了許多插件，來從多方面進(jìn)行擴(kuò)展，也可以編寫自己的插件。

3. Kafka

官網(wǎng)：http://kafka.apache.org/

簡介：

Kafka是由Apache軟件基金會開發(fā)的一個開源流處理平臺，由Scala和Java編寫。Kafka是一種高吞吐量的分布式發(fā)布訂閱消息系統(tǒng)，它可以處理消費(fèi)者規(guī)模的網(wǎng)站中的所有動作流數(shù)據(jù)。 這種動作（網(wǎng)頁瀏覽，搜索和其他用戶的行動）是在現(xiàn)代網(wǎng)絡(luò)上的許多社會功能的一個關(guān)鍵因素。 這些數(shù)據(jù)通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 對于像Hadoop的一樣的日志數(shù)據(jù)和離線分析系統(tǒng)，但又要求實(shí)時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的并行加載機(jī)制來統(tǒng)一線上和離線的消息處理，也是為了通過集群來提供實(shí)時的消息。

Kafka它主要用于處理活躍的流式數(shù)據(jù)，因此Kafaka在大數(shù)據(jù)系統(tǒng)中使用較多。

特點(diǎn)：

同時為發(fā)布和訂閱提供高吞吐量。據(jù)了解，Kafka每秒可以生產(chǎn)約25萬消息（50 MB），每秒處理55萬消息（110 MB）。

可進(jìn)行持久化操作。將消息持久化到磁盤，因此可用于批量消費(fèi)，例如ETL，以及實(shí)時應(yīng)用程序。通過將數(shù)據(jù)持久化到硬盤以及replication防止數(shù)據(jù)丟失。

分布式系統(tǒng)，易于向外擴(kuò)展。所有的producer、broker和consumer都會有多個，均為分布式的。無需停機(jī)即可擴(kuò)展機(jī)器。

消息被處理的狀態(tài)是在consumer端維護(hù)，而不是由server端維護(hù)。當(dāng)失敗時能自動平衡。

支持online和offline的場景。

4. RocketMQ

官網(wǎng)：http://rocketmq.apache.org/

簡介：

RocketMQ是阿里開源的消息中間件，目前在Apache孵化，使用純Java開發(fā)，具有高吞吐量、高可用性、適合大規(guī)模分布式系統(tǒng)應(yīng)用的特點(diǎn)。RocketMQ思路起源于Kafka，但并不是簡單的復(fù)制，它對消息的可靠傳輸及事務(wù)性做了優(yōu)化，目前在阿里集團(tuán)被廣泛應(yīng)用于交易、充值、流計算、消息推送、日志流式處理、binglog分發(fā)等場景，支撐了阿里多次雙十一活動。

特點(diǎn)：

支持發(fā)布/訂閱（Pub/Sub）和點(diǎn)對點(diǎn)（P2P）消息模型

在一個隊(duì)列中可靠的先進(jìn)先出（FIFO）和嚴(yán)格的順序傳遞

支持拉（pull）和推（push）兩種消息模式

單一隊(duì)列百萬消息的堆積能力

支持多種消息協(xié)議，如 JMS、MQTT 等

分布式高可用的部署架構(gòu),滿足至少一次消息傳遞語義

提供 docker 鏡像用于隔離測試和云集群部署

提供配置、指標(biāo)和監(jiān)控等功能豐富的 Dashboard

區(qū)別（圖片來源慕課網(wǎng)）：

其實(shí)對于這些消息隊(duì)列的產(chǎn)品，每一種都在某一領(lǐng)域占有一席，雖然ActiveMQ目前在社區(qū)已經(jīng)不是很活躍，但是其下一代產(chǎn)品Apollo已經(jīng)問世。ZeroMQ小而美，RabbitMQ大而穩(wěn)，Kakfa和RocketMQ快而強(qiáng)勁。RocketMQ雖然目前還很多不完善，但是一旦在Apache孵化成為頂級項(xiàng)目，全球程序猿開始貢獻(xiàn)，前途也是不可限量的。

下一篇文章我會詳細(xì)介紹ActiveMQ以及相關(guān)使用方法。

歡迎關(guān)注我的微信公眾號:"Java面試通關(guān)手冊"（一個有溫度的微信公眾號，期待與你共同進(jìn)步~~~堅(jiān)持原創(chuàng)，分享美文，分享各種Java學(xué)習(xí)資源）：。

總結(jié)

以上是生活随笔為你收集整理的消息队列深入解析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。