Knative 实战:基于 Kafka 实现消息推送
作者 | 元毅 阿里云智能事業群高級開發工程師
導讀:當前在 Knative 中已經提供了對 Kafka 事件源的支持,那么如何基于 Kafka 實現消息推送呢?本文作者將以阿里云 Kafka 產品為例,給大家解鎖這一新的姿勢。
背景
消息隊列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可擴展的消息隊列服務。消息隊列 for Apache Kafka 廣泛用于日志收集、監控數據聚合、流式數據處理、在線和離線分析等大數據領域,已成為大數據生態中不可或缺的部分。
結合 Knative 中提供了 KafkaSource 事件源的支持, 可以方便的對接 Kafka 消息服務。
另外也可以安裝社區 Kafka 2.0.0 及以上版本使用。
在阿里云上創建 Kafka 實例
創建 Kafka 實例
登錄消息隊列 Kafka 控制臺, 選擇【購買實例】。由于當前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本,在阿里云上創建 Kafka 實例需要選擇包年包月、專業版本進行購買,購買之后升級到 2.0.0 即可。
部署實例并綁定 VPC
購買完成之后,進行部署,部署時設置 Knative 集群所在的 VPC 即可:
創建 Topic 和 Consumer Group
接下來我們創建 Topic 和消費組。
進入【Topic 管理】,點擊 創建 Topic, 這里我們創建名稱為 demo 的 topic:
進入【Consumer Group 管理】,點擊 創建 Consumer Group, 這里我們創建名稱為 demo-consumer 的消費組:
部署 Kafka 數據源
部署 Kafka addon 組件
登錄容器服務控制臺,進入【Knative 組件管理】,部署 Kafka addon 組件。
創建 KafkaSource 實例
首先創建用于接收事件的服務 event-display:
apiVersion: serving.knative.dev/v1 kind: Service metadata:name: event-display spec:template:spec:containers:- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d接下來創建 KafkaSource:
apiVersion: sources.eventing.knative.dev/v1alpha1 kind: KafkaSource metadata:name: alikafka-source spec:consumerGroup: demo-consumer# Broker URL. Replace this with the URLs for your kafka cluster,# which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092topics: demosink:apiVersion: serving.knative.dev/v1alpha1kind: Servicename: event-display說明:
- bootstrapServers: Kafka VPC 訪問地址
- consumerGroup: 設置消費組
- topics:設置 Topic
創建完成之后,我們可以查看對應的實例已經運行:
[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods NAME READY STATUS RESTARTS AGE alikafka-source-k22vz-db44cc7f8-879pj 1/1 Running 0 8h驗證
在 Kafka 控制臺,選擇 topic 發送消息,注意這里的消息格式必須是 json 格式:
我們可以看到已經接收到了發送過來的 Kafka 消息:
[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container?? CloudEvent: valid ? Context Attributes,SpecVersion: 0.2Type: dev.knative.kafka.eventSource: /apis/v1/namespaces/default/kafkasources/alikafka-source#demoID: partition:7/offset:1Time: 2019-10-18T08:50:32.492ZContentType: application/jsonExtensions: key: demo Transport Context,URI: /Host: event-display.default.svc.cluster.localMethod: POST Data,{"key": "test"}小結
結合阿里云 Kafka 產品,通過事件驅動觸發服務(函數)執行,是不是簡單又高效。這樣我們利用 Knative 得以把云原生的能力充分釋放出來,帶給我們更多的想象空間。歡迎對 Knative 感興趣的一起交流。
實操視頻演示鏈接:https://v.qq.com/x/page/d3013wzs3tp.html
作者簡介:元毅,阿里云容器平臺高級開發工程師,負責阿里云容器平臺 Knative 相關工作。
歡迎加入 Knative 交流群
“ 阿里巴巴云原生微信公眾號(ID:Alicloudnative)關注微服務、Serverless、容器、Service Mesh等技術領域、聚焦云原生流行技術趨勢、云原生大規模的落地實踐,做最懂云原生開發者的技術公眾號。”
總結
以上是生活随笔為你收集整理的Knative 实战:基于 Kafka 实现消息推送的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 这件事,阿里爱了10年
- 下一篇: Dubbo 在 K8s 下的思考