"RabbitMQ？""Kafka？""RocketMQ？"...在日常學(xué)習(xí)與開發(fā)過程中，我們常常聽到消息隊(duì)列這個關(guān)鍵詞。我也在我的多篇文章中提到了這個概念。可能你是熟練使用消息隊(duì)列的老手，又或者你是不懂消息隊(duì)列的新手，不論你了不了解消息隊(duì)列，本文都將帶你搞懂消息隊(duì)列的一些基本理論。如果你是老手，你可能從本文學(xué)到你之前不曾注意的一些關(guān)于消息隊(duì)列的重要概念，如果你是新手，相信本文將是你打開消息隊(duì)列大門的一板磚。

一、什么是消息隊(duì)列

我們可以將消息隊(duì)列與用于存儲消息的容器進(jìn)行比較。當(dāng)需要使用消息時，我們可以取出消息以供自己使用。消息隊(duì)列是分布式系統(tǒng)中的重要組件。消息隊(duì)列的使用主要是為了提高系統(tǒng)性能和峰值削波，并通過異步處理減少系統(tǒng)耦合。當(dāng)前，最常用的消息隊(duì)列是ActiveMQ，RabbitMQ，Kafka，RocketMQ。稍后我們將一一比較這些消息隊(duì)列。

另外，我們知道Queue是先進(jìn)先出的數(shù)據(jù)結(jié)構(gòu)，因此在使用消息時，它也是按順序使用的。例如，生產(chǎn)者向消費(fèi)者發(fā)送消息1,2,3 ...，他們將以1,2,3 ...的順序消費(fèi)。但是，有時，消息消費(fèi)順序可能不正確。例如，消息使用失敗或具有多個使用者的隊(duì)列可能導(dǎo)致消息使用順序錯誤。我們必須確保消息使用順序正確。

除了上面提到的消息消費(fèi)順序問題之外，使用消息隊(duì)列，我們還必須考慮如何確保消息不會被重復(fù)消費(fèi)？如何確保消息的可靠傳輸(如何處理消息丟失的問題)？ ... 等等。因此，消息隊(duì)列的使用并不完美。使用它還會降低系統(tǒng)可用性并增加復(fù)雜性。另外，我們需要確保一致性和其他問題。

二、拆解學(xué)習(xí)

消息隊(duì)列學(xué)習(xí)大綱

三、RabbitMQ

本學(xué)習(xí)文檔共分為11部分，前后章節(jié)都有相關(guān)的聯(lián)系，基本上按照由淺入深、由表及里的層次逐層進(jìn)行講解。

主要針對消息中間件做一個摘要性介紹，包括什么是消息中間件、消息中間件的作用及特點(diǎn)等。之后引入RabbitMQ,對其歷史和相關(guān)特點(diǎn)做一個簡要概述。 最后介紹RabbitMQ的安裝及生產(chǎn)、消費(fèi)的使用示例。

主要講述RabbitMQ的入門知識，包括生產(chǎn)者、消費(fèi)者、隊(duì)列、交換器、路由鍵、綁定、連接及信道等基本術(shù)語。還闡述了RabbiMQ與AMQP協(xié)議的對應(yīng)關(guān)系。

主要介紹RabbitMQ客戶端開發(fā)的簡單使用，按照一個生命周期對連接、 創(chuàng)建、生產(chǎn)、消費(fèi)及關(guān)閉等幾個方面進(jìn)行宏觀的介紹。

介紹數(shù)據(jù)可靠性的一些細(xì)節(jié)，并展示RabbitMQ的幾種已具備或衍生的高級特性，包括TTL、死信隊(duì)列、延遲隊(duì)列、優(yōu)先級隊(duì)列、RPC 等，這些功能在實(shí)際使用中可以讓某些應(yīng)用的實(shí)現(xiàn)變得事半功倍。

主要圍繞RabbitMQ管理這個主題展開，包括多租戶、權(quán)限、用戶、應(yīng)用和集群管理、服務(wù)端狀態(tài)等方面，并且從側(cè)面講述rbbingctl工具和abbitonq managemnent 插件的使用。

主要講述RabbiMQ的配置，以此可以通過環(huán)境變量、配置文件、運(yùn)行時參數(shù)(和策略)等三種方式來定制化相應(yīng)的服務(wù)。

主要圍繞運(yùn)維層面展開論述，主要包括集群搭建、日志查看、故障恢復(fù)、集群遷移、集群監(jiān)控這幾個方面。

主要講述Federation和Shovel這兩個插件的使用、細(xì)節(jié)及相關(guān)原理。區(qū)別于第7節(jié)中集群的部署方式，Federation 和Shovel可以部署在廣域網(wǎng)中，為RabbitMQ提供更廣泛的應(yīng)用空間。

介紹RabbitMQ相關(guān)的一些原理， 主要內(nèi)容包括RabbiMQ存儲機(jī)制、磁盤和內(nèi)存告警、流控機(jī)制、鏡像隊(duì)列。了解這些實(shí)現(xiàn)的細(xì)節(jié)及原理十分必要，它們可以讓讀者在遇到問題時能夠透過現(xiàn)象看本質(zhì)。

四、RocketMQ

本文檔旨在描述 RocketMQ 的多個關(guān)鍵特性的實(shí)現(xiàn)原理，并對消息中間件遇到的各種問題進(jìn)行總結(jié)，闡述RocketMQ 如何解決這些問題。文中主要引用了 JMS 規(guī)范與 CORBA Notification 規(guī)范，規(guī)范為我們設(shè)計(jì)系統(tǒng)指明了方向，但是仍有不少問題規(guī)范沒有提及，對于消息中間件又至關(guān)重要。RocketMQ 并不遵循任何規(guī)范，但是參考了各種規(guī)范與同類產(chǎn)品的設(shè)計(jì)思想

更多RocketMQ資料請參考小編之前的文章：

RocketMQ全貌解析，阿里不愧是阿里

五、Kafka

全學(xué)習(xí)文檔分為4篇：

介紹了消息隊(duì)列和Kafka、安裝與配置Kafka環(huán)境

介紹了Kafka的基礎(chǔ)操作、生產(chǎn)者和消費(fèi)者、存儲及管理數(shù)據(jù)

介紹了更高級的Kafka知識及應(yīng)用，包括安全機(jī)制、連接器、流處理、監(jiān)控與測試

是對前面知識的綜合及實(shí)際應(yīng)用，包括ELK套件整合實(shí)戰(zhàn)、Spark實(shí)時計(jì)算引擎整合實(shí)戰(zhàn)、Kafka Eagle監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)實(shí)戰(zhàn)。

開源軟件Kafa的應(yīng)用越來越廣泛。Katka 簡單易學(xué)，其學(xué)習(xí)曲線平緩且學(xué)習(xí)周期短。只需要較短的時間學(xué)習(xí)，就可以學(xué)會Kafka應(yīng)用開發(fā)，完成一個高可用集群的部署和高可用應(yīng)用程序的編寫。

面對Kafka的普及和學(xué)習(xí)熱潮，小編愿意分享自己多年的開發(fā)經(jīng)驗(yàn)，帶領(lǐng)大家比較輕松地掌握Kafka的相關(guān)知識。這便是小編編寫本學(xué)習(xí)文檔的原因。

更多Kafka資料請參考小編之前的文章：

java開發(fā)必知必會的技能,沒有系統(tǒng)掌握Kafka,你就缺少核心競爭力

六、面試講解

1. 面試題

RabbitMQ

RabbitMQ 中的 broker 是指什么？cluster 又是指什么？

什么是元數(shù)據(jù)？元數(shù)據(jù)分為哪些類型？包括哪些內(nèi)容？與 cluster 相關(guān)的元數(shù)據(jù) 有哪些？元數(shù)據(jù)是如何保存的？元數(shù)據(jù)在 cluster 中是如何分布的

RAM node 和 disk node 的區(qū)別？

RabbitMQ 上的一個 queue 中存放的 message 是否有數(shù)量限制？

RabbitMQ 概念里的 channel、exchange 和 queue 這些東東是邏輯概念，還是對 應(yīng)著進(jìn)程實(shí)體？這些東東分別起什么作用？

Kafka

Kafka 的設(shè)計(jì)時什么樣的呢？

數(shù)據(jù)傳輸?shù)氖挛锒x有哪三種？

Kafka 判斷一個節(jié)點(diǎn)是否還活著有那兩個條件？

producer 是否直接將數(shù)據(jù)發(fā)送到 broker 的 leader(主節(jié)點(diǎn))？

Kafa consumer 是否可以消費(fèi)指定分區(qū)消息？

學(xué)習(xí)感悟

如果你掌握了消息隊(duì)列的底層技術(shù)，無論使用哪種消息隊(duì)列產(chǎn)品，你都可以從原理層面來分析問題，再簡單看一下它的 API和相關(guān)配置項(xiàng)，就能很快知道該如何配置消息隊(duì)列，寫出高性能并且可靠的程序！

說明：

本文所涉及的學(xué)習(xí)文檔，面試資料都是小編自己收集整理而來的，正在學(xué)習(xí)"消息隊(duì)列"或者有需要的朋友可以幫忙評論+轉(zhuǎn)發(fā)一下，然后在這里@Java架構(gòu)師丨蘇先生私信【隊(duì)列】即可獲取以上所有的學(xué)習(xí)資料的免費(fèi)領(lǐng)取方式

總結(jié)

以上是生活随笔為你收集整理的消息队列 策略_太狠了!京东T8架构师建议吃透这40W字消息队列文档,涨薪15K不是梦...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。