簡介：RocketMQ5.0 的發(fā)布標志著阿里云消息正式從消息領域正式邁向了“消息、事件、流”場景大融合的新局面。

引言：從“消息”到“消息、事件、流”的大融合

消息隊列作為當代應用的通信基礎設施，微服務架構應用的核心依賴，通過異步解耦能力讓用戶更高效地構建分布式、高性能、彈性健壯的應用程序。

從數(shù)據(jù)價值和業(yè)務價值角度來看，消息隊列的價值不斷深化。消息隊列中流動的業(yè)務核心數(shù)據(jù)涉及集成傳輸、分析計算和處理等不同環(huán)節(jié)與場景。伴隨著不斷演進，我們可以預見消息隊列勢必在數(shù)據(jù)通道、事件集成驅(qū)動、分析計算等場景不斷產(chǎn)生新價值，創(chuàng)造新的“化學反應”。

RocketMQ 誕生于阿里巴巴內(nèi)部電商系統(tǒng)，發(fā)展至今日，其核心架構經(jīng)歷了多次關鍵演進：

早在 2007 年，淘寶電商系統(tǒng)做服務化拆分的時候，就誕生了第一代消息服務 Notify，這是 RocketMQ 最早雛形。Notify 采用了關系型數(shù)據(jù)庫作為存儲，使用推模式。在阿里淘寶這種高頻交易場景中，具有非常廣泛地應用。

在 2007-2013 年期間，隨著阿里集團業(yè)務發(fā)展，不僅需要交易場景異步調(diào)用，同時需要支持大量傳輸埋點數(shù)據(jù)、數(shù)據(jù)同步。此時，內(nèi)部衍生出 MetaQ 以及 RocketMQ3.0 版本，這兩個版本開始探索自研存儲引擎，采用了自研專有消息存儲，支持了單機海量 Topic，并前瞻性地去除了 Zookeeper 等組件的外部依賴。在十年后的今天，我們看到去各種 keeper 已成為整個消息領域的發(fā)展主流。

經(jīng)歷了前三代的內(nèi)部業(yè)務打磨后，阿里巴巴積極參與開源并將 RocketMQ3.0 貢獻到開源社區(qū)，并于 2017 年正式從 Apache 孵化器畢業(yè)，成為中國首個非 Hadoop 生態(tài)體系的 Apache 社區(qū)頂級項目。此后，RocketMQ 也開始正式服務于阿里云企業(yè)客戶。秉承開源、商業(yè)、內(nèi)部三位一體發(fā)展策略，18 年發(fā)布的 4.x 版，在高可靠低延遲方面重點優(yōu)化，構建了全新的低延遲存儲引擎和多場景容災解決方案、并提供了豐富的消息特性。這也使得 RocketMQ 成為金融級的業(yè)務消息首選方案。

上個月社區(qū)發(fā)布了 RocketMQ5.0-preview 版，正式宣告 5.0 的到來。RocketMQ5.0 將不再局限于消息解耦的基本場景，更是通過統(tǒng)一內(nèi)核、存儲的優(yōu)勢，提供消息、事件、流一體化的處理能力。

回顧 RocketMQ 發(fā)展的十余年，良好的社區(qū)環(huán)境和商業(yè)支持使得大量企業(yè)開發(fā)者可以很方便的跟進業(yè)務特點和訴求進行選型和驗證。在社區(qū)活躍影響力方面，RocketMQ 社區(qū)項目收獲 15000+Star，活躍的貢獻者有 400+ 位，多語言、生態(tài)連接等周邊活躍項目 30+ 個，深受社區(qū)開發(fā)者歡迎。在應用規(guī)模方面，RocketMQ 作為金融級業(yè)務消息方案，積累了互聯(lián)網(wǎng)游戲、在線教育、金融證券、銀行、政企能源、汽車出行等眾多行業(yè)數(shù)以萬計的企業(yè)客戶。同時，在阿里巴巴內(nèi)部擔負業(yè)務核心鏈路，每天流轉(zhuǎn)萬億級消息流量，扛過了歷屆雙十一的零點峰值。在行業(yè)評測方面，RocketMQ 也多次斬獲大獎。

官宣：阿里云新一代 RocketMQ “消息、事件、流”融合處理平臺

今天發(fā)布阿里云消息隊列 RocketMQ 版 5.0，我們稱之為一站式“消息、事件、流”融合處理平臺。

新版本核心誕生兩大新亮點，首先是消息核心場景的擴展和布局，RocketMQ 5.0 不再局限于消息解耦場景，將全新布局事件驅(qū)動和消息流式處理場景；其次則是一站式融合處理的技術架構和趨勢。

“消息、事件、流”一站式融合處理的技術架構可以實現(xiàn)一份消息存儲，支持消息的流式計算、異步投遞、集成驅(qū)動多種場景，極大地降低業(yè)務人員運維多套系統(tǒng)的技術復雜度和運維成本。可以說，無論是微服務的指令調(diào)用、異步通知，還是 CDC 變更日志、行為埋點數(shù)據(jù)，亦或是資源運維、審計事件，統(tǒng)一的 RocketMQ5.0 產(chǎn)品棧都能統(tǒng)一處理。

重大發(fā)布一：RocketMQ 基礎架構全新升級

首先，最重要的升級是阿里云 RocketMQ 的技術架構全面煥新。

全新的 RocketMQ5.0 版將通用的存儲邏輯下沉，集中解決消息存儲的多副本、低延遲、海量隊列分區(qū)等技術問題，將上層的消息處理和剝離出完全的無狀態(tài)計算層，主要完成協(xié)議適配、權限管理、消費狀態(tài)、可觀測運維體系支持。得益于存算分離的架構設計，從 SDK 接入到線上運維全鏈路帶來全面提升：

輕量版 SDK 的開放和全鏈路可觀測系統(tǒng)的提升：同時支持 4.x 通信協(xié)議和全新的 gRPC 通信協(xié)議，并內(nèi)置 OpenTelemetry 埋點支持，新版本 SDK 新增了 10 余個指標埋點。

消息級負載均衡：新版本 SDK 不再參與實際存儲隊列的負載均衡，消息負載均衡將更加輕量，以單條消息為調(diào)度最小單元。

多網(wǎng)絡訪問支持：新版本支持單一實例同時暴露公網(wǎng)、內(nèi)網(wǎng)等訪問形式，方便客戶多網(wǎng)絡接入訪問。

海量分級存儲：新版本開放分級存儲歷史消息保存能力，消息低成本無大小限制，最長保存 30 天。冷熱數(shù)據(jù)進行分離設計，極大降低消費歷史消息對實例的性能影響。

重大發(fā)布二：RocketMQ Streaming 云上最佳實踐——消息ETL

消息基礎架構的能力提升之外，阿里云 RocketMQ 在 Streaming 流式處理場景推出了輕量級消息 ETL 功能。

用戶在數(shù)據(jù)庫變更、終端數(shù)據(jù)上報、后臺埋點日志等場景產(chǎn)生的消息，典型的消費場景就是數(shù)據(jù)清洗轉(zhuǎn)化，同時再存儲到外部的存儲和離線分析、在線分析系統(tǒng)中。傳統(tǒng)實現(xiàn)方案需要搭建 Flink 等重量級實時計算服務或者自建消費應用做消息處理。而使用商業(yè)版 RocketMQ ETL 功能，簡單控制臺配置即可實現(xiàn)消息的清洗和轉(zhuǎn)化。RocketMQ ETL 功能有三大優(yōu)勢：

輕量無依賴：作為阿里云消息原生功能，使用時不需要部署外部計算服務或消費程序，方案更輕量。

開發(fā)門檻低：內(nèi)置常見清洗轉(zhuǎn)化模板，滿足絕大多數(shù)消息內(nèi)容處理需求，并支持用戶快速編寫自定義函數(shù)來支持特殊的業(yè)務邏輯。整體開發(fā)成本非常低，1 小時即可完成業(yè)務上線。

Serverless 彈性：無需預先估算容量，采取 Serverless 無服務器模式，實現(xiàn)按需彈性伸縮。

重大發(fā)布三：EDA 云上最佳實踐——事件中心 EventBridge

本次 RocketMQ 最后一個發(fā)布點是在事件驅(qū)動的業(yè)務場景的布局和演進。早在 2018 年，Gartner 評估報告將 EDA（Event-Driven-Architecture） 列為十大戰(zhàn)略技術趨勢之一，事件驅(qū)動架構將成為未來微服務主流。我們首先下一個定義：

事件驅(qū)動其本質(zhì)是對消息驅(qū)動的再升級，是企業(yè)IT架構深度演進的下一個必然階段。

事件驅(qū)動架構和消息驅(qū)動架構的區(qū)別和關聯(lián)主要集中于以下三點：

EDA 更加強調(diào)深層次解耦：消息驅(qū)動是同一業(yè)務、組織系統(tǒng)內(nèi)不同組件之間在技術架構層面的調(diào)用解耦，其信息封裝和處理都是有預期、預定義的。事件驅(qū)動適配是更寬泛的業(yè)務、組織系統(tǒng)，基于事件的解耦上下游之間無需有預期和行為定義，上下游統(tǒng)一遵循標準化的規(guī)范，這是更深度的解耦。

EDA 更加強調(diào)連接能力：消息驅(qū)動更多是單一系統(tǒng)內(nèi)的調(diào)用，而事件驅(qū)動往往會涉及到不同的地域、賬戶主體以及三方 SaaS 的協(xié)同，事件驅(qū)動的一大特征就是生態(tài)的強連接能力。

EDA 更加強調(diào) Serverless 低代碼開發(fā)：類比于消息和微服務的協(xié)同關系，未來業(yè)務架構 Serverless 化的大趨勢會推動業(yè)務開發(fā)模式逐步轉(zhuǎn)向低代碼配置化。事件驅(qū)動的另一大特征就是低代碼開發(fā)，基于豐富的工具能力，業(yè)務側(cè)不需要像消息驅(qū)動一樣編寫大量的生產(chǎn)消費代碼。

因此，阿里云統(tǒng)一事件中心 EventBridge 產(chǎn)品帶來如下能力：

統(tǒng)一標準化的事件集成生態(tài)：作為阿里云事件中心，集成 80 余款云產(chǎn)品的業(yè)務事件，支持 800 多種事件類型，用戶使用 EventBridge 可以一次性管理所有云產(chǎn)品資源的變更、操作使用事件，避免對接多個產(chǎn)品接口的重復性勞動。

全球事件互通網(wǎng)絡：貫徹事件驅(qū)動強連接的屬性能力，本次發(fā)布了全球事件互通網(wǎng)絡，首批支持國內(nèi)五大地域事件互通。企業(yè)客戶簡單配置即可實現(xiàn)跨賬號、跨地域、跨網(wǎng)絡的事件聚合和流轉(zhuǎn)。

Serverless 低代碼開發(fā)：內(nèi)置十余種事件目標和處理模板，涵蓋了大多數(shù)業(yè)務場景，客戶簡單配置、低代碼，無需部署服務即可完成事件的驅(qū)動和處理。

面向未來：堅定推動“消息、事件、流”大融合的發(fā)展

RocketMQ5.0 的發(fā)布標志著阿里云消息正式從消息領域正式邁向了“消息、事件、流”場景大融合的新局面。未來阿里云消息產(chǎn)品的演進也將繼續(xù)圍繞消息、事件、流核心場景而開展。消息基礎架構本身也必將步伐不斷，繼續(xù)朝著 Serverless 彈性、強容災能力、可觀測免運維方向推進，給客戶帶來高性能、高可靠、強容災的高 SLA 服務；并在 Streaming 的場景會基于客戶業(yè)務訴求，聯(lián)合生態(tài)產(chǎn)品持續(xù)推出更多的消息處理計算服務；打造面向未來的企業(yè)集成模式，聯(lián)合生態(tài)伙伴和開源社區(qū)大力推動事件驅(qū)動進一步發(fā)展。

點擊下方鏈接，觀看企業(yè)互聯(lián)網(wǎng)架構論壇直播回放！

https://yunqi.aliyun.com/2021/agenda/session184?spm=5176.23756404.J_6556766720.7.41c07c21SwyCvF

原文鏈接：https://developer.aliyun.com/article/795675?

版權聲明：本文內(nèi)容由阿里云實名注冊用戶自發(fā)貢獻，版權歸原作者所有，阿里云開發(fā)者社區(qū)不擁有其著作權，亦不承擔相應法律責任。具體規(guī)則請查看《阿里云開發(fā)者社區(qū)用戶服務協(xié)議》和《阿里云開發(fā)者社區(qū)知識產(chǎn)權保護指引》。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容，填寫侵權投訴表單進行舉報，一經(jīng)查實，本社區(qū)將立刻刪除涉嫌侵權內(nèi)容。

總結

以上是生活随笔為你收集整理的云栖发布｜阿里云消息队列 RocketMQ 5.0：消息、事件、流融合处理平台的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。