【图解 Knative】剖析 Eventing Broker-Trigger 实现原理
1. 背景介紹
我們都知道，Knative 有兩個(gè)主要的子項(xiàng)目：Serving 和 Eventing。其中 關(guān)于 Serviing 可以查看之前的一篇公眾號(hào)文章 【超詳細(xì)】深入探究 Knative 擴(kuò)縮容的奧秘。Eventing 將系統(tǒng)中的服務(wù)以事件驅(qū)動(dòng)的方式松耦合的綁定在一起：即事件發(fā)送者不關(guān)注誰來消費(fèi)事件，事件消費(fèi)者也不關(guān)注事件是由誰產(chǎn)生的。Eventing 中有多種事件組合的方式，比如：
-
最簡單的 Source -> Service 直接綁定
-
通過 channel 與 subscriptions 訂閱的方式
-
并行事件流處理 的方式 Parallel，以及串行事件流處理的方式 Sequence
-
以及支持事件過濾的 Broker & Trigger 也是本文將要重點(diǎn)介紹的模式
?注：對(duì)于其他幾種事件組合的方式，感興趣的可以在官網(wǎng)查閱 https://knative.dev/docs/eventing/
2. 工作原理介紹
上圖展示的是 Broker & Trigger 模型的中 Event 傳遞的基本方式，其中事件傳遞的格式是標(biāo)準(zhǔn)的 CLoudEvent 的格式。簡要介紹下圖中的流程：
事件由事件源 Source 產(chǎn)生, Knative 支持多種事件源,如 GitHub、Heartbeats、k8s、ContainerSource等，更多 Source 可在官網(wǎng)查閱 https://knative.dev/docs/eventing/sources/，也可以自定義 Source ,參考之前發(fā)的一篇公眾號(hào)為 Serverless 平臺(tái)插上騰飛的翅膀--自定義 Faas 事件驅(qū)動(dòng)事件源。
圖中 事件源產(chǎn)生 type 為 foo 的事件，發(fā)送到 Broker，其中 有三個(gè) Trigger 綁定了 Broker，兩個(gè) Trigger 的 filter 是 type:foo ,也就是會(huì)關(guān)注 type=foo 的事件，然后發(fā)送給對(duì)應(yīng)的消費(fèi)者。
Service1和 Service3 只是單純的消費(fèi)，并不回復(fù)事件
Service2 收到事件后回復(fù) type=bar 的事件,事件重新傳遞到 Broker上，此時(shí)只有一個(gè) Trigger 過濾了 type:bar 事件被傳送到 Service3 消費(fèi)。
其中消費(fèi)者是否回復(fù)事件是可選的。
關(guān)于圖中的實(shí)例 yaml，可參考附錄章節(jié)
3. 底層實(shí)現(xiàn)原理
上面介紹了 Broker & Trigger 的工作原理，現(xiàn)在從底層實(shí)現(xiàn)的角度進(jìn)一步講解。
Knative Eventing 事件傳遞過程中依賴消息通道 Channel，為了便于持久化，生產(chǎn)環(huán)境使用可持久化的消息通過( 本文以 NatsStreaming 為例) 來做事件的消息通道，如果是開發(fā)調(diào)試，則直接用 InMemoryChannel 即可(只會(huì)保存在內(nèi)存中，不會(huì)持久化)
先上圖
-
圖中包含控制平面與數(shù)據(jù)平面，圖中箭頭：控制平面為實(shí)線，數(shù)據(jù)平面為虛線
-
實(shí)線的方框?yàn)?Knative 組件，虛線的方框?yàn)?k8s CR 資源
下面分別從數(shù)據(jù)平面和控制平面分別講解
3.1 數(shù)據(jù)平面
EventSource------> Broker------>Trigger------->SubScriber
1. EventSource------> Broker
Broker 可以手動(dòng)生成，或者通過給 namespace 打 label eventing.knative.dev/injection:true ，讓sugar-controller 會(huì)自動(dòng)生成對(duì)應(yīng)的 Broker 實(shí)例
EventSource 一般通過 SinkURI 環(huán)境變量將 Broker 的 地址傳入 。比如，Broker 的地址為 http://broker-ingress.knative-eventing.svc.cluster.local/default/default，該地址為broker-ingress 的地址，而 broker-ingress通過 請(qǐng)求 URL的 path 可以得到 Broker 的信息，比如/default/default表示 default namespace 下名為 default 的 Broker
#?kubectl?get?broker NAME??????URL????????????????????????????????????????????????????????????????????????AGE???READY???REASON default???http://broker-ingress.knative-eventing.svc.cluster.local/default/default???46h???True2.Broker------>Trigger
broker-ingress ****得到 Broker 的信息(name namespace)之后,可以得到 Broker 的 status 信息,如下得到 channelAddress 的地址(http://default-kne-trigger-kn-channel.default.svc.cluster.local)
apiVersion:?eventing.knative.dev/v1 kind:?Broker metadata:name:?defaultnamespace:?default status:address:url:?http://broker-ingress.knative-eventing.svc.cluster.local/default/defaultannotations:knative.dev/channelAPIVersion:?messaging.knative.dev/v1beta1knative.dev/channelAddress:?http://default-kne-trigger-kn-channel.default.svc.cluster.localknative.dev/channelKind:?NatssChannelknative.dev/channelName:?default-kne-triggerchannelAddress 的地址是個(gè)svc 的地址,通過 externalName 指向 natss-ch-dispatcher
#?kubectl?get?svc?default-kne-trigger-kn-channel NAME?????????????????????????????TYPE???????????CLUSTER-IP???EXTERNAL-IP??????????????????????????????????????????????PORT(S)???AGE default-kne-trigger-kn-channel???ExternalName???<none>???????natss-ch-dispatcher.knative-eventing.svc.cluster.local???<none>????46hnatss-ch-dispatcher 負(fù)責(zé)將 消息（主題為channel.Name + "." + channel.Namespace） 發(fā)布到 Natss-Streaming 組件
3. Trigger------->SubScriber
natss-ch-dispatcher ****不僅負(fù)責(zé)發(fā)布，還負(fù)責(zé)訂閱消息，natss-ch-dispatcher ****watch natssChannel (見下面的 NatssChannel), 獲取 natssChannel的 subscriber的地址 subscriberUri，通過 subscriberUri發(fā)送消息給 broker-filter ,跟 broker-ingress 一樣，subscriberUri 的地址是broker-filter 的 地址，通過請(qǐng)求 path 區(qū)分哪個(gè) trigger ,請(qǐng)求 path :/triggers/<trigger namespace>/<trigger name>/<trigger UID>
apiVersion:?messaging.knative.dev/v1beta1 kind:?NatssChannel metadata:name:?default-kne-triggernamespace:?default spec:subscribers:-?generation:?1replyUri:?http://broker-ingress.knative-eventing.svc.cluster.local/default/defaultsubscriberUri:?http://broker-filter.knative-eventing.svc.cluster.local/triggers/default/trigger2/c0f3f1bb-9a25-4fb2-b803-fc5cd74e57dauid:?9b4c991a-8912-4333-aa5a-caf053e5ee9c-?generation:?1replyUri:?http://broker-ingress.knative-eventing.svc.cluster.local/default/defaultsubscriberUri:?http://broker-filter.knative-eventing.svc.cluster.local/triggers/default/trigger3/28e7ba73-d514-4aea-a0de-7946fc21e7ccuid:?56d00260-e69f-4d7a-bd05-c81479774a95-?generation:?1replyUri:?http://broker-ingress.knative-eventing.svc.cluster.local/default/defaultsubscriberUri:?http://broker-filter.knative-eventing.svc.cluster.local/triggers/default/trigger1/3f6e7a8e-f7d1-4c8f-a25a-1970b6ab73e3uid:?963fd671-097f-489a-a857-c1803ad3fb19 status:address:url:?http://default-kne-trigger-kn-channel.default.svc.cluster.localbroker-filter 獲取到 Trigger 的信息后,通過 根據(jù) Trigger 的filter 將消息過濾，再?zèng)Q定是否將消息發(fā)給 對(duì)應(yīng)的 subscriber, subscriber可以從 Trigger status 的 subcriberUri 獲取到，見下圖,對(duì)于subscriber Reply 的消息，broker-filter 發(fā)送到 replyUri 地址上，http://broker-ingress.knative-eventing.svc.cluster.local/default/default ,也就是發(fā)送給 Broker (實(shí)際是 broker-ingress)。
apiVersion:?eventing.knative.dev/v1 kind:?Trigger metadata:name:?trigger1namespace:?default spec:broker:?defaultfilter:attributes:type:?dev.knative.sources.pingsubscriber:ref:apiVersion:?serving.knative.dev/v1kind:?Servicename:?service1namespace:?default status:subscriberUri:?http://service1.default.svc.cluster.local至此數(shù)據(jù)面的通信流就完成了，接下來看控制面的數(shù)據(jù)流。
3.2 控制平面
控制平面主要看上圖中的實(shí)線部分，此處再貼一下圖
接下來按流程講解
-
1.1 mt-broker-controller watch Broker 的創(chuàng)建
-
1.2 mt-broker-controller 根據(jù) Broker 的配置，創(chuàng)建對(duì)應(yīng)的 Channel，此處為 NatssChannel
-
1.3 Natss-ch-controller watch NatssChannel 的創(chuàng)建，更新 Natss-Streaming 的服務(wù)端狀態(tài)到NatssChannel 的 status
-
1.4 Natss-ch-controller創(chuàng)建 svc，externalname指向 natss-ch-dispatcher
-
1.5 mt-broker-controllerwatch NatssChannel 的status
-
1.6 mt-broker-controller 更新 Broker 的status，其中包含: Broker 的address（broker-ingress 的地址）,channel 的 address,供 broker-ingress 使用
-
2.1 mt-broker-controllerwatch Trigger
-
2.2 mt-broker-controller根據(jù) Trigger（含 subscriber 的信息）創(chuàng)建subscription,其中包含 subsciber(broker-filter) 的地址和 Broker 的信息
-
2.3 eventing-controller watch subscription ,解析 subcriber和 replyUri的地址(broker-ingress 的地址)
-
2.4 eventing-controller根據(jù)subcription 更新 Natss-Channel :subsriberUrl 和 replyUrl
2.5 mt-broker-controller 根據(jù) subscription 和 broker 的狀態(tài) 更新 Trigger 的狀態(tài)
控制面的邏輯就完了，和數(shù)據(jù)面的邏輯結(jié)合的地方在于：
broker-ingress 和 broker-filter ：
broker-ingress watch Broker ,從 Broker 的 status 中獲取 channel 的地址(natss-ch-dispatch 的 svc 的地址)
broker-filter watch Trigger ，根據(jù) trigger 中subscriber 地址，將event filter 后決定是否發(fā)送到 對(duì)應(yīng)的 target
至此，整個(gè)流程都講完了，可以按照附錄中的資源，創(chuàng)建一下，看看其中的資源。
附錄
broker.yaml
trigger1.yaml
trigger2.yaml
trigger3.yaml
service1.yaml
5.service3.yaml (service1和service3 一樣都是打印接收到的 event)
apiVersion:?serving.knative.dev/v1 kind:?Service metadata:name:?service1 spec:template:spec:containers:-?image:?docker.io/zhaojizhuang66/event-display:v1service2.yaml
關(guān)注公眾號(hào)： Knative，了解更多 Serverless 、Knative，云原生相關(guān)資訊
關(guān)注公眾號(hào)，回復(fù) "進(jìn)群"，即可進(jìn)群與眾多云原生 Serverless 技術(shù)大佬探討技術(shù)，探討人生。
總結(jié)
以上是生活随笔為你收集整理的【图解 Knative】剖析 Eventing Broker-Trigger 实现原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
