EventBridge 事件总线及 EDA 架构解析
簡介:EventBridge 是事件驅(qū)動(dòng)的具體落地產(chǎn)品,也是 EDA 的最佳實(shí)踐方式。
作者:肯夢(mèng)
作為 Gartner 定義的 10 大戰(zhàn)略技術(shù)趨勢(shì)之一,事件驅(qū)動(dòng)架構(gòu)(EDA)逐漸成為主流技術(shù)架構(gòu)。根據(jù) Gartner 的預(yù)估,在新型數(shù)字化商業(yè)的解決方案中,將有 60%使用 EDA,在商業(yè)組織參與的技術(shù)棧中,EDA 有一半的占比。
當(dāng)下比較成功的企業(yè)已然認(rèn)識(shí)到,要想最大限度提升運(yùn)營效率和客戶體驗(yàn),務(wù)必要將業(yè)務(wù)和技術(shù)兩方面的舉措緊密結(jié)合起來。運(yùn)營事件或業(yè)務(wù)形勢(shì)的變化是時(shí)下眾多企業(yè)關(guān)注的焦點(diǎn),這些變化能夠?yàn)槠髽I(yè)領(lǐng)導(dǎo)者帶來切實(shí)有用的信息,而架構(gòu)設(shè)計(jì)的主旨恰恰是從客戶聯(lián)系人、交易、運(yùn)營等方面的信息中獲取洞見,兩者相輔相成。傳統(tǒng)技術(shù)歷來對(duì)企業(yè)從事件中獲取洞見的速度有著諸多限制,比如用于記錄、收集和處理此類事件的批處理 ETL(提取、轉(zhuǎn)換、加載)等。基于以上背景,阿里云 EventBridge 應(yīng)運(yùn)而生。
EventBridge 是事件驅(qū)動(dòng)的具體落地產(chǎn)品,也是 EDA 的最佳實(shí)踐方式。
事件驅(qū)動(dòng)(EDA)是什么
早在 2018 年,Gartner 評(píng)估報(bào)告將 Event-Driven Model 列為 10 大戰(zhàn)略技術(shù)趨勢(shì)之一,事件驅(qū)動(dòng)架構(gòu)(EDA)將成為未來微服務(wù)的主流。該報(bào)告同時(shí)做出了以下斷言:
- 到 2022 年,事件通知的軟件模型將成為超過 60% 的新型數(shù)字化商業(yè)的解決方案;
- 到 2022 年,超過 50% 的商業(yè)組織將參與到事件驅(qū)動(dòng)的數(shù)字化商業(yè)服務(wù)的生態(tài)系統(tǒng)當(dāng)中。
很喜歡 George Santayana 在《 The Life of Reason》說的一句話 Those who fail to learn History are doomed to repeat it.(不懂歷史的人注定會(huì)重蹈覆轍)。我們以史為鑒,來看看為什么會(huì)架構(gòu)會(huì)演進(jìn)到事件驅(qū)動(dòng)。
上圖是關(guān)于架構(gòu)演進(jìn)時(shí)間軸線。架構(gòu)本身沒有優(yōu)劣之分,它本身就是一組技術(shù)決策,決定后續(xù)項(xiàng)目的所有功能開發(fā)(框架,編碼規(guī)范,文檔,流程….),所以這里不談選型好壞,只談為什么會(huì)引入某些框架,這個(gè)框架解決了軟件開發(fā)中的什么問題。
- 單體架構(gòu):在單節(jié)點(diǎn)服務(wù)中,單體應(yīng)用的所有模塊都封裝在單個(gè)進(jìn)程運(yùn)行,通信通過相同堆棧調(diào)用完成。這種模式下非常容易導(dǎo)致結(jié)構(gòu)和關(guān)系不明確,難以對(duì)系統(tǒng)進(jìn)行更改和重構(gòu)。就像一個(gè)不透明的,粘稠的,脆弱的,僵硬的 Big Ball of Mud!
- 分層架構(gòu):在經(jīng)典的分層架構(gòu)中,層以相當(dāng)謹(jǐn)慎的方式使用。即一個(gè)層只能知道它下方層的數(shù)據(jù)。在隨后的實(shí)際應(yīng)用中,更多的方式是一個(gè)層可以訪問它下面的任何層。分層架構(gòu)解決了單體架構(gòu)的的邏輯分離問題,每一層都可以被等效替換,是用層區(qū)分也更加標(biāo)準(zhǔn)化,同時(shí)一個(gè)層可以被幾個(gè)不同/更高級(jí)別的層使用。當(dāng)然,層也有比較明顯的缺點(diǎn),層不能封裝掉一切,比如添加到 UI 的某個(gè)字段,可能也需要添加到 DB,而且額外多余的層會(huì)嚴(yán)重?fù)p害系統(tǒng)性能。
- MVC 架構(gòu):MVC 架構(gòu)產(chǎn)生的原因其實(shí)很簡單,隨著業(yè)務(wù)系統(tǒng)的復(fù)雜性增加,之前所謂“全棧工程師”已經(jīng)不適用大部分場景。為了降低前端和后臺(tái)的集成復(fù)雜性,故而開始推廣 MVC 架構(gòu)。其中,Model 代表業(yè)務(wù)邏輯;View 代表視圖層,比如前端 UI 的某個(gè)小組件;Controller 提供 View 和 Model 的協(xié)調(diào),比如將用戶某項(xiàng)操作轉(zhuǎn)為業(yè)務(wù)邏輯等。此外還有很多擴(kuò)展架構(gòu),譬如 Model-View-Presenter,Model-View-Presenter-ViewModel,Resource-Method-Representation,Action-Domain-Responder 就不在細(xì)說了,感興趣的同學(xué)可以 wiki 搜索下。
- EBI 架構(gòu):即 Entity,Boundary(接口),Interactor (控制)。EBI 架構(gòu)將系統(tǒng)邊界視為完整連接,而不僅僅是視圖,控制器或接口。EBI 的實(shí)體代表持有數(shù)據(jù)并結(jié)束相關(guān)行為的實(shí)際實(shí)體,很類似阿里云的 POP API。EBI 主要還是后端概念,它是與 MVC 相輔相成的。
- 洋蔥架構(gòu):洋蔥架構(gòu)是一種低耦合,高內(nèi)聚的架構(gòu)模型。所有的應(yīng)用程序圍繞獨(dú)立的對(duì)象模型構(gòu)建,內(nèi)層定義接口,外層實(shí)現(xiàn)接口,耦合方向向中心內(nèi)聚,所有代碼都可以獨(dú)立與基礎(chǔ)設(shè)施進(jìn)行編譯和運(yùn)行。
- SOA 架構(gòu):SOA 是 Service Orientated Architure 的縮寫,即面向服務(wù)架構(gòu)。表示每一個(gè)功能都是通過一個(gè)獨(dú)立的服務(wù)來提供,服務(wù)定義了明確的可調(diào)用接口,服務(wù)之間的編排調(diào)用可完成一個(gè)完整的業(yè)務(wù)。其實(shí)這個(gè)架構(gòu)也是目前架構(gòu)中最成熟的,日常使用最多的架構(gòu)模式。
在介紹完之前全部的架構(gòu)趨勢(shì)后,在回過頭看看什么是 EDA 架構(gòu)。
EDA 事件驅(qū)動(dòng)架構(gòu)( Event-Driven Architecture ) 是一種系統(tǒng)架構(gòu)模型,它的核心能力在于能夠發(fā)現(xiàn)系統(tǒng)“事件”或重要的業(yè)務(wù)時(shí)刻(例如交易節(jié)點(diǎn)、站點(diǎn)訪問等)并實(shí)時(shí)或接近實(shí)時(shí)地對(duì)相應(yīng)的事件采取必要行動(dòng)。這種模式取代了傳統(tǒng)的“ request/response ”模型,在這種傳統(tǒng)架構(gòu)中,服務(wù)必須等待回復(fù)才能進(jìn)入下一個(gè)任務(wù)。事件驅(qū)動(dòng)架構(gòu)的流程是由事件提供運(yùn)行的。
上圖其實(shí)很好的解釋了 EDA 架構(gòu)的模型,但是其實(shí)還不夠明確,所以這里我們和單體架構(gòu)一起對(duì)比看看他們之間差異。
在如上對(duì)比圖中,我們其實(shí)可以較為清楚看到它與傳統(tǒng)架構(gòu)的區(qū)別。在一般傳統(tǒng)架構(gòu)中,創(chuàng)建訂單操作發(fā)生后,一系列的操作其實(shí)都是通過一個(gè)系統(tǒng)完成的。而事件驅(qū)動(dòng)的概念則是將全部操作都轉(zhuǎn)換為 “事件” 概念,下游通過捕獲某個(gè) “事件” 來決定調(diào)用什么系統(tǒng)完成什么樣的操作。
我們回過頭來看“事件”,剛剛介紹中比較的重要部分其實(shí)是將操作轉(zhuǎn)換為某類事件進(jìn)行分發(fā)。那這的事件我們?cè)趺炊x呢?
簡單來看,其實(shí)事件就是狀態(tài)的顯著變化,當(dāng)用戶采取特定行動(dòng)時(shí)觸發(fā)。以 4S 店售賣汽車為例:
- 當(dāng)客戶購買汽車并且其狀態(tài)從 For Sale 變?yōu)?Sold 是一個(gè)事件;
- 成功交易后,從帳戶中扣除金額是一個(gè)事件;
- 單擊預(yù)訂試駕后,從將預(yù)約信息添加到指定用戶就是一個(gè)事件;
每個(gè)事件都可能觸發(fā)一個(gè)或多個(gè)選項(xiàng)作為響應(yīng)。
事件其實(shí)云原生 CNCF 基金會(huì)在 2018 年托管了開源 CloudEvents 項(xiàng)目,該項(xiàng)目旨在用統(tǒng)一和規(guī)范的格式來描述事件,來加強(qiáng)不同的服務(wù)、平臺(tái)以及系統(tǒng)之間的互操作性。在該項(xiàng)目定義下,通用的事件規(guī)范是這樣的:
事件主要由 Json 體構(gòu)成,通過不同字段描述發(fā)生的事件。
總結(jié)來看,事件驅(qū)動(dòng)其實(shí)是將比較重要的業(yè)務(wù)時(shí)刻封裝成“事件”,并通過某個(gè) EventBus 將事件路由給下游系統(tǒng)。
了解了 EDA 架構(gòu)的整個(gè)處理過程,但是還沒解決這個(gè)所謂的“EventBus”到底是什么?
如上圖就是 EventBus 的核心邏輯架構(gòu),它由 Event Producer 和 Event Consumer 兩端組成,通過 Bus 解耦中間環(huán)節(jié),是不是非常像某個(gè)傳統(tǒng)的 MQ 架構(gòu)?別著急,在接下來的落地實(shí)踐部分會(huì)講解這個(gè)架構(gòu)的復(fù)雜部分。
EDA 架構(gòu)的落地實(shí)踐思考
在開始介紹落地實(shí)踐時(shí),我們先來看一個(gè)經(jīng)典的 EDA 架構(gòu)模型:
這是一個(gè)非常經(jīng)典 EDA 訂單架構(gòu),該架構(gòu)主要使用了 EventBridge 和 FC 函數(shù)計(jì)算(如果不太熟悉 FaaS 的同學(xué)可以把 FC 節(jié)點(diǎn)當(dāng)作 ECS 或 Kubernetes 的某個(gè) POD 節(jié)點(diǎn)),通過事件驅(qū)動(dòng)各個(gè)業(yè)務(wù)進(jìn)行協(xié)作。
所以這塊的中心節(jié)點(diǎn)(EventBridge)其實(shí)有三個(gè)比較重要的能力:
通常情況下,要實(shí)現(xiàn)這三個(gè)能力是比較困難的,比如:Event Capturing 可能需要熟悉 Dell Boomi, Snaplogic, MuleSoft, Dataflow, Apache Apex 等,Routing 部分可能通過 RocketMQ、RabbitMQ、ActiveMQ、Apache Kafka,Event Processing 需要了解 Apache Storm, Apache Flink 。所以之前講的邏輯架構(gòu)其實(shí)非常理想,要想實(shí)現(xiàn)完成的 EDA 事件驅(qū)動(dòng)還需要包括這些核心能力。
其實(shí),從剛剛的架構(gòu)中我們也能窺探到一些信息,EDA 架構(gòu)其實(shí)看起來沒有那么簡單,那它有何優(yōu)劣呢?
下面簡單羅列下 EDA 架構(gòu)在實(shí)踐中的優(yōu)勢(shì):
松耦合:事件驅(qū)動(dòng)架構(gòu)是高度松耦合且高度分布式的架構(gòu)模型,事件的創(chuàng)建者(來源)只知道發(fā)生的事件,并不知道事件的處理方式,也關(guān)心有多少相關(guān)方訂閱該事件;
異步執(zhí)行:EDA 架構(gòu)是異步場景下最適合的執(zhí)行工具,我們可以將需要事件保留在隊(duì)列中,直到狀態(tài)正常后執(zhí)行;
可擴(kuò)展性:事件驅(qū)動(dòng)架構(gòu)可以通過路由&過濾能力快速劃分服務(wù),提供更便捷的擴(kuò)展與路由分發(fā);
敏捷性:事件驅(qū)動(dòng)架構(gòu)可以通過將事件分發(fā)至任何地方,提供更敏捷高效的部署方案。
當(dāng)然,劣勢(shì)也很明顯:
架構(gòu)復(fù)雜:事件驅(qū)動(dòng)架構(gòu)復(fù)雜,路由節(jié)點(diǎn)多,系統(tǒng)結(jié)成復(fù)雜,功能要求多;
路由分發(fā)難:事件路由分發(fā)難,靈活的事件路由需要依賴強(qiáng)大的實(shí)時(shí)計(jì)算能力,對(duì)整體分發(fā)系統(tǒng)要求較高;
無法追蹤:事件追蹤是整個(gè) EDA 架構(gòu)的保證,EDA 架構(gòu)中往往很難追蹤到事件處理狀態(tài),需要大量的定制化開發(fā);
可靠性差:事件驅(qū)動(dòng)由于需要多系統(tǒng)集成,可靠性通常較差,且交付無法保障。
如何解決 EDA 場景下的困境
針對(duì) EDA 場景面臨的這些問題,阿里云推出了 EventBridge,一款無服務(wù)器事件總線服務(wù),其使命是作為云事件的樞紐,以標(biāo)準(zhǔn)化的 CloudEvents 1.0 協(xié)議連接云產(chǎn)品和應(yīng)用、應(yīng)用和應(yīng)用,提供中心化的事件治理和驅(qū)動(dòng)能力,幫助用戶輕松構(gòu)建松耦合、分布式的事件驅(qū)動(dòng)架構(gòu);另外,在阿里云之外的云市場上有海量垂直領(lǐng)域的 SaaS 服務(wù),EventBridge 將以出色的跨產(chǎn)品、跨組織以及跨云的集成與被集成能力,助力客戶打造一個(gè)完整的、事件驅(qū)動(dòng)的、高效可控的上云體驗(yàn)。
阿里云對(duì) EventBridge 做了定義,核心價(jià)值包括:
- 統(tǒng)一事件樞紐:統(tǒng)一事件界面,定義事件標(biāo)準(zhǔn),打破云產(chǎn)品事件孤島;
- 事件驅(qū)動(dòng)引擎:海量事件源,毫秒級(jí)觸發(fā)能力,加速 EDA/Serverless 架構(gòu)升級(jí);
- 開放與集成:提供豐富的跨產(chǎn)品、跨平臺(tái)連接能力,促進(jìn)云產(chǎn)品、應(yīng)用程序、SaaS 服務(wù)相互集成。
下面從架構(gòu)層面和功能層面對(duì) EventBridge 進(jìn)行介紹:
架構(gòu)層面
針對(duì)架構(gòu)復(fù)雜問題,EventBridge 提供業(yè)內(nèi)通用的 Source ,Buses,Rules,Targets 模塊管理能力,同時(shí)支持 EventBus 和 EventStream 兩種模式,大幅度降低事件驅(qū)動(dòng)架構(gòu)難度。
1)事件總線模型經(jīng)典 EDA( 事件驅(qū)動(dòng))場景的 N:N 模型,提供多事件路由,事件匹配,事件轉(zhuǎn)換等核心能力,幫助開發(fā)者快速搭建事件驅(qū)動(dòng)架構(gòu)。
2)事件流模型標(biāo)準(zhǔn) Streaming(1:1) 流式處理場景,無總線概念,用于端到端的數(shù)據(jù)轉(zhuǎn)儲(chǔ),數(shù)據(jù)同步及數(shù)據(jù)處理等,幫助輕松構(gòu)建云上端到端的數(shù)據(jù)管道服務(wù)。
功能層面
在功能層面,EventBridge 的核心亮點(diǎn)應(yīng)用包括:
1)事件規(guī)則驅(qū)動(dòng)
針對(duì)基于事件的路由分發(fā),EventBridge 通過事件規(guī)則驅(qū)動(dòng),支持 8 大事件模式,4 重轉(zhuǎn)換器,滿足路由分發(fā)的全部訴求。
2)事件追蹤
針對(duì)事件無法追蹤,獨(dú)家提供事件追蹤能力,事件分析/查詢能力。為用戶完善的全鏈路事件查詢分析能力。
3)DLQ/重試機(jī)制、事件全流程觸發(fā)
針對(duì)可靠性差,支持 DLQ/重試機(jī)制,與事件全流程觸發(fā),大幅度保證由于用戶下游系統(tǒng)導(dǎo)致的事件故障與延遲。
4)Schema 注冊(cè)中心
針對(duì)事件管理復(fù)雜,支持 Schema 注冊(cè)中心,支持事件信息的解釋、預(yù)覽和上下游代碼生成能力,幫助用戶低代碼完成事件的收發(fā)處理。解決跨部門信息溝通困難,業(yè)務(wù)代碼冗余等一系列事件管理問題。
5)同時(shí),基于以上功能 EventBridge 支持對(duì)接 85 種以上的阿里云產(chǎn)品,847 種事件類型。
更多產(chǎn)品功能介紹,可訪問 EventBridge 官網(wǎng)
事件總線 EventBridge_事件驅(qū)動(dòng)_阿里云
阿里云 EventBridge 更多場景介紹
經(jīng)典 EDA 事件驅(qū)動(dòng)
事件總線(EventBridge)最重要的能力是通過連接應(yīng)用程序、云服務(wù)和 Serverless 服務(wù)來構(gòu)建 EDA(Event-driven Architectures) 事件驅(qū)動(dòng)架構(gòu),驅(qū)動(dòng)應(yīng)用與應(yīng)用,應(yīng)用與云的連接。
流式 ETL 場景
EventBridge 另一個(gè)核心能力是為流式的數(shù)據(jù)管道的責(zé)任,提供基礎(chǔ)的過濾和轉(zhuǎn)換的能力,在不同的數(shù)據(jù)倉庫之間、數(shù)據(jù)處理程序之間、數(shù)據(jù)分析和處理系統(tǒng)之間進(jìn)行數(shù)據(jù)同步/跨地域備份等場景,連接不同的系統(tǒng)與不同服務(wù)。
統(tǒng)一事件通知服務(wù)
EventBridge 提供豐富的云產(chǎn)品事件源與事件的全生命周期管理工具,您可以通過總線直接監(jiān)聽云產(chǎn)品產(chǎn)生的數(shù)據(jù),并上報(bào)至監(jiān)控,通知等下游服務(wù)。
重磅推薦
本篇是對(duì) EventBridge 事件總線及 EDA 架構(gòu)進(jìn)行了整體介紹,若您意猶未盡,想要了解更多場景應(yīng)用,可關(guān)注「阿里云 EventBridge 系列公開課」,完整課程現(xiàn)已重磅推出!本次系列直播課共包含有 5 個(gè) Topic ,帶您一起深入了解阿里云 EventBridge 事件總線的核心功能及應(yīng)用。
后期系列課具體安排如下,有興趣的小伙伴不要錯(cuò)過哦~
原文鏈接
本文為阿里云原創(chuàng)內(nèi)容,未經(jīng)允許不得轉(zhuǎn)載。?
創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來咯,堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)總結(jié)
以上是生活随笔為你收集整理的EventBridge 事件总线及 EDA 架构解析的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: linux下gcc编译使用opencv的
- 下一篇: DLF +DDI 一站式数据湖构建与分析