javascript
手把手教你搭建SpringCloud项目(十六)集成Stream消息驱动
Spring Cloud全集文章目錄:
零、什么是微服務?一看就會系列!
一、手把手教你搭建SpringCloud項目(一)圖文詳解,傻瓜式操作
二、手把手教你搭建SpringCloud項目(二)生產者與消費者
三、手把手教你搭建SpringCloud項目(三)集成Eureka服務注冊中心
四、手把手教你搭建SpringCloud項目(四)Eureka集群版搭建
五、手把手教你搭建SpringCloud項目(五)生產者集群版搭建
六、手把手教你搭建SpringCloud項目(六)Eureka實現服務發現
七、手把手教你搭建SpringCloud項目(七)集成Consul服務注冊中心
八、手把手教你搭建SpringCloud項目(八)集成Ribbon負載均衡器
九、手把手教你搭建SpringCloud項目(九)集成OpenFeign服務接口調用
十、手把手教你搭建SpringCloud項目(十)集成Hystrix之服務降級
十一、手把手教你搭建SpringCloud項目(十一)集成Hystrix之服務熔斷
十二、手把手教你搭建SpringCloud項目(十二 )集成Hystrix之圖形化Dashboard實時監控
十三、手把手教你搭建SpringCloud項目(十三?)集成Gateway新一代網關
十四、手把手教你搭建SpringCloud項目(十四?)集成Config分布式配置中心
十五、手把手教你搭建SpringCloud項目(十五)集成Bus消息總線
十六、手把手教你搭建SpringCloud項目(十六)集成Stream消息驅動
十七、手把手教你搭建SpringCloud項目(十七)集成Sleuth分布式鏈路跟蹤
文章繼續更新中,歡迎點贊關注!
一、消息驅動概述
1. 消息驅動是什么?
在實際應用中有很多消息中間件,比如現在企業里常用的有ActiveMQ、RabbitMQ、RocketMQ、Kafka等,學習所有這些消息中間件無疑需要大量時間經歷成本,那有沒有一種技術,使我們不再需要關注具體的消息中間件的細節,而只需要用一種適配綁定的方式,自動的在各種消息中間件內切換呢?消息驅動就是這樣的技術,它能屏蔽底層消息中間件的差異,降低切換成本,統一消息的編程模型。
SpringCloud Stream是一個構件消息驅動微服務的框架。應用程序通過inputs和outputs來與SpringCloud Stream中的綁定器(binder)對象交互,通過配置來綁定,而SpringCloud Stream的綁定器對象負責與消息中間件交互,所以,我們只需要搞清楚如何與SpringCloud Stream交互就可以方便使用消息驅動的方式。但是截至到目前時間,SpringCloud Stream目前僅支持RabbitMQ和Kafka。
2. 設計思想
在經典的消息隊列中,生產者/消費者之間靠消息媒介傳遞信息內容,消息必須走特定的通道Message Channel,消息通道里的子接口Subscribable Channel消費消息,然后MessageHandler負責收發處理。
在SpringCloud Stream中,通過定義綁定器(binder)作為中間層,實現了應用程序與消息中間件細節之間的隔離。在消息綁定器中,INPUT對應于消費者,OUTPUT對應于生產者,Stream中的消息通信方式遵循了發布—訂閱模式:用Topic(主題)進行廣播(RabbitMQ中對應于Exchange交換機,Kafka中就是Topic)。
3. SpringCloud Stream編碼API和常用注解
| Middleware | 中間件,目前只支持RabbitMQ和Kaf |
| Binder | Binder是應用與消息中間件之間的封裝,目前實行了RabbitMQ和Kafka的Binder,通過Binder可以很方便的連接中間件,可以動態的改變消息類型(對應于Kafka的topic,RabbitMQ的exchange),這些都可以通過配置文件來實現 |
| @Input | 注解標識輸入通道,通過該輸入通道接收到的消息進入應用程序 |
| @Output | 注解標識輸出通道,發布的消息將通過該通道離開應用程序 |
| @StreamListner | 監聽隊列,用于消費者的隊列的消息接收 |
| @EnableBinding | 使信道Channel和交換機/主題(Exchange/Topic)綁定在一起 |
二. SpringCloud Stream 案例實操
新建三個子模塊分別對應于消息的生產者和消費者:
| cloud-stream-rabbitmq-provider8801 | 生產者,發送消息模塊 |
| cloud-stream-rabbitmq-consumer8802 | 消費者,接收消息模塊 |
| cloud-stream-rabbitmq-consumer8803 | 消費者,接收消息模塊 |
1. 消息驅動之消息生產者
新建Module:cloud-stream-rabbitmq-provider8801作為消息的生產者用來發送消息,在其POM文件中除引入web、actuator、eureka-client等必要啟動器外,還需要引入SpringCloud Stream對應實現RabbitMQ的啟動器依賴:
<dependency><groupId>org.springframework.cloud</groupId><artifactId>spring-cloud-starter-stream-rabbit</artifactId> </dependency>編寫其配置文件application.yml:
server:port: 8801spring:application:name: cloud-stream-providercloud:stream:binders: # 在此處配置要綁定的rabbitmq的服務信息;defaultRabbit: # 表示定義的名稱,用于于binding整合type: rabbit # 消息組件類型environment: # 設置rabbitmq的相關的環境配置spring:rabbitmq:host: localhostport: 5672username: guestpassword: guestbindings: # 服務的整合處理output: # 這個名字是一個通道的名稱,OUTPUT表示這是消息的發送方destination: testExchange # 表示要使用的Exchange名稱定義content-type: application/json # 設置消息類型,本次為json,文本則設置“text/plain”binder: defaultRabbit # 設置要綁定的消息服務的具體設置eureka:client: # 客戶端進行Eureka注冊的配置service-url:defaultZone: http://eureka7001.com:7001/eureka,http://eureka7002.com:7002/eurekainstance:lease-renewal-interval-in-seconds: 2 # 設置心跳的時間間隔(默認是30秒)lease-expiration-duration-in-seconds: 5 # 如果現在超過了5秒的間隔(默認是90秒)instance-id: send-8801.com # 在信息列表時顯示主機名稱prefer-ip-address: true # 訪問的路徑變為IP地址編寫其主啟動類后,然后編寫業務類,在業務來中分別要編寫發送消息接口及其實現類,并在發送接口消息的實現類中添加**@EnableBinding注解用來綁定消息的推送管道,消息生產者綁定的消息推送管道為org.springframework.cloud.stream.messaging.Source**:
package cn.sher6j.sprincloud.service;/*** 發送消息接口* @author sher6j* @create 2020-05-25-12:20*/ public interface IMessageProvider {public String send(); } ---------------------------------------------------------------------- package cn.sher6j.sprincloud.service.impl;import cn.sher6j.sprincloud.service.IMessageProvider; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.cloud.stream.annotation.EnableBinding; import org.springframework.cloud.stream.messaging.Source; import org.springframework.messaging.MessageChannel; import org.springframework.messaging.support.MessageBuilder; import java.util.UUID;/*** 發送消息接口實現類* @author sher6j* @create 2020-05-25-12:21*/ @EnableBinding(Source.class) //定義消息的推送管道 public class MessageProviderImpl implements IMessageProvider {@Autowiredprivate MessageChannel output; //消息發送管道@Overridepublic String send() {String serial = UUID.randomUUID().toString();output.send(MessageBuilder.withPayload(serial).build());//發送消息System.out.println("========serial:" + serial);return null;} }注意我們在service的實現類中不再需要@Service注解,因為這個service不再是傳統意義上的和Controller、DAO數據等進行交互的service,而是要綁定綁定器打交道的service。
然后編寫其業務層的Controller:
@RestController public class SendMessageController {@Autowiredprivate IMessageProvider messageProvider;@GetMapping("/sendMessage")public String sendMessage() {return messageProvider.send();} }啟動服務注冊中心后和RabbitMQ后,啟動消息生產者微服務,我們在RabbitMQ的控制面板中可以看見多出了一個名為testExchange的交換機,這個交換機恰恰就是我們之前在配置文件中配置的交換機名字:
然后我們訪問 http://localhost:8801/sendMessage 使用消息生產者微服務發送消息,在其微服務后臺我們看到了打印的消息:
在RabbitMQ的控制面板中我們也看到了確實發送了消息。
2. 消息驅動之消息消費者
新建Module:cloud-stream-rabbitmq-consumer8802/8803作為消息的生產者用來接收消息,其POM文件中引入的啟動器依賴和消息生產者微服務的依賴幾乎相同,然后編寫其配置文件application.yml,其配置文件的書寫和消息生產者的幾乎一致,特別需要注意的是,消息生產者微服務用到的通道為OUTPUT,而消息消費者微服務用到的通道為INPUT,其他的配置文件信息就只需要注意端口號、注冊服務名的區別即可:
spring:cloud:bindings: input: # 這個名字是一個通道的名稱,INPUT表示消息消費者編寫完主啟動類,編寫消息消費者的業務類,由于是消費者,所以只需要編寫其Controller即可,在其Controller上同樣需要添加**@EnableBinding注解用來綁定消息的推送管道,消息消費者綁定的消息推送管道為import org.springframework.cloud.stream.messaging.Sink,在接收消息的方法中需要使用@StreamListner**注解來監聽其綁定的消息推送管道:
package cn.sher6j.springcloud.controller;import org.springframework.beans.factory.annotation.Value; import org.springframework.cloud.stream.annotation.EnableBinding; import org.springframework.cloud.stream.annotation.StreamListener; import org.springframework.cloud.stream.messaging.Sink; import org.springframework.messaging.Message; import org.springframework.stereotype.Component;/*** @author sher6j* @create 2020-05-25-12:58*/ @Component @EnableBinding(Sink.class) public class ReceiveMessageController {@Value("${server.port}")private String serverPort;@StreamListener(Sink.INPUT)public void input(Message<String> message) {System.out.println("消費者" + serverPort + "號,收到消息:" + message.getPayload());} }然后啟動消息發送消費者服務,用生產者發送消息,我們可以發現在消費者端可以成功接收到消息:
3. 分組消費和持久化
1. 重復消費問題
當生產者發送消息后,此時的我們的消費者都接受了消息并進行了消費,也就是說同一條消息被多個消息消費者所消費:
上述的問題就是消息的重復消費問題,那么這個問題為什么如此重要呢?其實重復消費這個問題本身不可怕,可怕的是沒考慮到重復消費之后,怎么保證冪等性。(冪等性,通俗的說,就一個數據,或者一個請求,重復很多次,需要確保對應的數據是不會改變的,不能出錯)。分布式微服務應用為了實現高可用和負載均衡,實際上同一功能的服務都會部署多個具體的服務實例。舉個例子,假設有一個系統,有一條消息要求往數據庫里插入一條數據,要是這個消息重復消費兩次,結果就是向數據庫里插入了兩條數據,這樣數據就錯了,就違背了冪等性原則,但是要是該消息消費到第二次的時候,可以判斷一下已經消費過了,然后直接將該消息丟棄,這就實現了只插入一條數據,一條消息重復出現了兩次,但是只有第一次真正被消費了,數據庫里也就只插入了一條數據,這就保證了系統的冪等性。
上面簡單的介紹了消息的重復消費問題,那如何解決這種重復消費問題呢,那就需要我們進行分組和持久化屬性組操作,利用SpringCloud Stream中的消息分組來解決這個問題,需要注意的是在Stream中處于同一組中的多個消息消費者是競爭關系,也就是保證生產者所發送的同一個消息只會被其中一個消費者消費一次。在不同組的消費者是是可以對消息進行全面消費(重復消費)的,只有同一組內才會發生競爭關系。
在RabbitMQ中,默認分組是不同的,組流水號不一樣,被認為不同組,我們查看testExchange交換機,可以發現8802和8803兩個消息消費者處于不同的組,所以8801消息生產者發送的消息可以被這兩個消費者重復消費:
2. 分組解決重復消費問題
上面在RabbitMQ控制面板中我們看到的組流水號是系統隨機分配的,這樣無疑不好控制,所以我們應該自定義配置分組,將8802/8803兩個消息消費者微服務分為同一個組,以此來解決消息的重復消費問題,先來演示如何自定義分組。
在8802/8803微服務中的配置文件中分別添加組名屬性:
spring:cloud:stream:bindings:input:group: A/B ## 分組名稱這里我們將8802設置為A組,8803設置為B組,然后我們將消息消費方的兩個微服務重啟,我們再次查看其組流水號,發現不再是長長的隨機組流水號,而變成了我們自定義的分組:
此時由于8802/8803位于兩個不同分組下,所以沒有競爭關系,消息生產者發送消息后,仍然可以重復消費。
下面我們將這兩個消息消費方微服務分到相同的消費組中,這樣每次就只有一個消費者,消息生產者發送的消息只能被8802或8803其中一個接受到,這樣就避免了重復消費,將8802和8803的分組名都改為A,再次重啟兩個消息消費方微服務,此時我們可以看到在分組A下已經有了兩個消費者:
?
再用生產者發送5條消息,我們發現8802/8803分別消費了3條和2條不同的消息,而沒有出現重復消費的問題:
由于時間原因就轉發的其他小伙伴六甲橫寶的文章,點擊查看原文!
我們Spring Cloud Stream到這里就學習完畢了,下一篇文章我們學習Spring Cloud Stream分布式鏈路跟蹤,持續學習,持續更新,下一節更精彩!歡迎朋友們點贊關注!感謝!
總結
以上是生活随笔為你收集整理的手把手教你搭建SpringCloud项目(十六)集成Stream消息驱动的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: TCP/IP协议栈之LwIP(四)---
- 下一篇: SpringMVC框架 |自定义类型转换