消息隊列已經逐漸成為企業IT系統內部通信的核心手段。它具有低耦合、可靠投遞、廣播、流量控制、最終一致性等一系列功能，成為異步RPC的主要手段之一。

當今市面上有很多主流的消息中間件，如老牌的ActiveMQ、RabbitMQ，炙手可熱的Kafka，阿里巴巴自主開發的Notify、MetaQ、RocketMQ等。

本文主要探討主流的消息隊列MQ比較，特征，以及典型使用場景。

目前主流的MQ產品

1.ZeroMQ

號稱最快的消息隊列系統，尤其針對大吞吐量的需求場景。

擴展性好，開發比較靈活，采用C語言實現，實際上只是一個socket庫的重新封裝，如果做為消息隊列使用，需要開發大量的代碼。ZeroMQ僅提供非持久性的隊列，也就是說如果down機，數據將會丟失。其中，Twitter的Storm中使用ZeroMQ作為數據流的傳輸。

2.RabbitMQ

結合erlang語言本身的并發優勢，支持很多的協議：AMQP，XMPP, SMTP, STOMP，也正是如此，使的它變的非常重量級，更適合于企業級的開發。

性能較好，但是不利于做二次開發和維護。

3.ActiveMQ

歷史悠久的開源項目，是Apache下的一個子項目。已經在很多產品中得到應用，實現了JMS1.1規范，可以和spring-jms輕松融合，實現了多種協議，不夠輕巧（源代碼比RocketMQ多），支持持久化到數據庫，對隊列數較多的情況支持不好。

4.Redis

做為一個基于內存的K-V數據庫，其提供了消息訂閱的服務，可以當作MQ來使用，目前應用案例較少，且不方便擴展。對于RabbitMQ和Redis的入隊和出隊操作，各執行100萬次，每10萬次記錄一次執行時間。

測試數據分為 128Bytes、512Bytes、1K和10K四個不同大小的數據。

實驗表明：入隊時，當數據比較小時Redis的性能要高于RabbitMQ，而如 果數據大小超過了10K，Redis則慢的無法忍受；出隊時，無論數據大小，Redis都表現出非常好的性能，而RabbitMQ的出隊性能則遠低于 Redis。

5.Kafka/Jafka

Kafka是Apache下的一個子項目，是一個高性能跨語言分布式發布/訂閱消息隊列系統，而Jafka是在Kafka之上孵化而來的，即Kafka的一個升級版。

具有以下特性：

• 快速持久化，可以在O（1）的系統開銷下進行消息持久化；
• 高吞吐，在一臺普通的服務器上既可以達到10W/s的吞吐速率；完全的分布式系統，Broker、Producer、Consumer都原生自動支持分布式，自動實現負載均衡；
• 支持Hadoop數據并行加載，對于像Hadoop的一樣的日志數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。
• Kafka通過Hadoop的并行加載機制統一了在線和離線的消息處理。Apache Kafka相對于ActiveMQ是一個非常輕量級的消息系統，除了性能非常好之外，還是一個工作良好的分布式系統。

何時需要消息隊列

當你需要使用消息隊列時，首先需要考慮它的必要性。

可以使用mq的場景有很多，最常用的幾種:

做業務解耦

最終一致性

廣播

錯峰流控等

反之，如果需要強一致性，關注業務邏輯的處理結果，則RPC顯得更為合適。

消息隊列使用場景

1.解耦

解耦是消息隊列要解決的最本質問題。所謂解耦，簡單點講就是一個事務，只關心核心的流程。而需要依賴其他系統但不那么重要的事情，有通知即可，無需等待結果。換句話說，基于消息的模型，關心的是“通知”，而非“處理”。

舉一個例子，關于訂單系統，訂單最終支付成功之后可能需要給用戶發送短信積分什么的，但其實這已經不是我們系統的核心流程了。

如果外部系統速度偏慢（比如短信網關速度不好），那么主流程的時間會加長很多，用戶肯定不希望點擊支付過好幾分鐘才看到結果。那么我們只需要通知短信系統“我們支付成功了”，不一定非要等待它立即處理完成。

2.最終一致性

最終一致性指的是兩個系統的狀態保持一致，要么都成功，要么都失敗。

當然有個時間限制，理論上越快越好，但實際上在各種異常的情況下，可能會有一定延遲達到最終一致狀態，但最后兩個系統的狀態是一樣的。

業界有一些為“最終一致性”而生的消息隊列，如：

• Notify（阿里）
• QMQ（去哪兒）等

其設計初衷，就是為了交易系統中的高可靠通知。

以一個銀行的轉賬過程來理解最終一致性，轉賬的需求很簡單，如果A系統扣錢成功，則B系統加錢一定成功。反之則一起回滾，像什么都沒發生一樣。

然而，這個過程中存在很多可能的意外：

A扣錢成功，調用B加錢接口失敗。

A扣錢成功，調用B加錢接口雖然成功，但獲取最終結果時網絡異常引起超時。

A扣錢成功，B加錢失敗，A想回滾扣的錢，但A機器down機。

可見，想把這件看似簡單的事真正做成，真的不那么容易。

所有跨VM的一致性問題，從技術的角度講通用的解決方案是：

強一致性，分布式事務，但落地太難且成本太高，后文會具體提到。

最終一致性，主要是用“記錄”和“補償”的方式。在做所有的不確定的事情之前，先把事情記錄下來，然后去做不確定的事情，結果可能是：成功、失敗或是不確定，“不確定”（例如超時等）可以等價為失敗。成功就可以把記錄的東西清理掉了，對于失敗和不確定，可以依靠定時任務等方式把所有失敗的事情重新搞一遍，直到成功為止。

回到剛才的例子，系統在A扣錢成功的情況下，把要給B“通知”這件事記錄在庫里（為了保證最高的可靠性可以把通知B系統加錢和扣錢成功這兩件事維護在一個本地事務里），通知成功則刪除這條記錄，通知失敗或不確定則依靠定時任務補償性地通知我們，直到我們把狀態更新成正確的為止。

整個這個模型依然可以基于RPC來做，但可以抽象成一個統一的模型，基于消息隊列來做一個“企業總線”。

具體來說，本地事務維護業務變化和通知消息，一起落地（失敗則一起回滾），然后RPC到達broker，在broker成功落地后，RPC返回成功，本地消息可以刪除。否則本地消息一直靠定時任務輪詢不斷重發，這樣就保證了消息可靠落地broker。

broker往consumer發送消息的過程類似，一直發送消息，直到consumer發送消費成功確認。

我們先不理會重復消息的問題，通過兩次消息落地加補償，下游是一定可以收到消息的。然后依賴狀態機版本號等方式做判重，更新自己的業務，就實現了最終一致性。

最終一致性不是消息隊列的必備特性，但確實可以依靠消息隊列來做最終一致性的事情。

另外，所有不保證100%不丟消息的消息隊列，理論上無法實現最終一致性。好吧，應該說理論上的100%，排除系統嚴重故障和bug。

像Kafka一類的設計，在設計層面上就有丟消息的可能（比如定時刷盤，如果掉電就會丟消息）。哪怕只丟千分之一的消息，業務也必須用其他的手段來保證結果正確。

2.廣播

消息隊列的基本功能之一是進行廣播。

如果沒有消息隊列，每當一個新的業務方接入，我們都要聯調一次新接口。有了消息隊列，我們只需要關心消息是否送達了隊列，至于誰希望訂閱，是下游的事情，無疑極大地減少了開發和聯調的工作量。

比如本文開始提到的產品中心發布產品變更的消息，以及景點庫很多去重更新的消息，可能“關心”方有很多個，但產品中心和景點庫只需要發布變更消息即可，誰關心誰接入。

3.錯峰與流控

試想上下游對于事情的處理能力是不同的。

比如，Web前端每秒承受上千萬的請求，并不是什么神奇的事情，只需要加多一點機器，再搭建一些LVS負載均衡設備和Nginx等即可。

但數據庫的處理能力卻十分有限，即使使用SSD加分庫分表，單機的處理能力仍然在萬級。由于成本的考慮，我們不能奢求數據庫的機器數量追上前端。

這種問題同樣存在于系統和系統之間，如短信系統可能由于短板效應，速度卡在網關上（每秒幾百次請求），跟前端的并發量不是一個數量級。

但用戶晚上個半分鐘左右收到短信，一般是不會有太大問題的。如果沒有消息隊列，兩個系統之間通過協商、滑動窗口等復雜的方案也不是說不能實現。

但系統復雜性指數級增長，勢必在上游或者下游做存儲，并且要處理定時、擁塞等一系列問題。而且每當有處理能力有差距的時候，都需要單獨開發一套邏輯來維護這套邏輯。所以，利用中間系統轉儲兩個系統的通信內容，并在下游系統有能力處理這些消息的時候，再處理這些消息，是一套相對較通用的方式。

消息隊列使用總結

1.消息隊列不是萬能的，對于需要強事務保證而且延遲敏感的，RPC是優于消息隊列的。

2.對于一些無關痛癢，或者對于別人非常重要但是對于自己不是那么關心的事情，可以利用消息隊列去做。

3.支持最終一致性的消息隊列，能夠用來處理延遲不那么敏感的“分布式事務”場景，而且相對于笨重的分布式事務，可能是更優的處理方式。

4.當上下游系統處理能力存在差距的時候，利用消息隊列做一個通用的“漏斗”，在下游有能力處理的時候，再進行分發。

5.如果下游有很多系統關心你的系統發出的通知的時候，果斷地使用消息隊列吧。

你可能也喜歡:

消息中間件系列（一）：消息中間件介紹、典型使用場景、以及使用原則

消息中間件系列(二)：Kafka的原理、基礎架構、以及使用場景

消息中間件系列(四)：消息隊列MQ的特點、選型、及應用場景詳解

消息中間件系列(九)：詳解RocketMQ的架構設計、關鍵特性、與應用場景

消息中間件系列(五)：MQ消息隊列的12點核心原理總結

消息中間件系列(六)：什么是流量削峰？如何解決秒殺業務的削峰場景

---

總結

以上是生活随笔為你收集整理的消息中间件系列(三)：主流的消息队列中间件有哪些？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。