問題現(xiàn)象

1.收到日志異常報警，一個Flink任務寫入kafka消息出現(xiàn)了異常，異常消息如下

org.apache.flink.streaming.connectors.kafka.FlinkKafkaException: Failed to send data to Kafka: The message is 1602187 bytes when serialized which is larger than the maximum request size you have configured with the max.request.size configuration.at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.checkErroneous(FlinkKafkaProducer.java:1218)at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.invoke(FlinkKafkaProducer.java:766)at org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer.invoke(FlinkKafkaProducer.java:98)at org.apache.flink.streaming.api.functions.sink.TwoPhaseCommitSinkFunction.invoke(TwoPhaseCommitSinkFunction.java:235)at org.apache.flink.streaming.api.operators.StreamSink.processElement(StreamSink.java:56)at org.apache.flink.streaming.runtime.tasks.OneInputStreamTask$StreamTaskNetworkOutput.emitRecord(OneInputStreamTask.java:173)at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.processElement(StreamTaskNetworkInput.java:151)at org.apache.flink.streaming.runtime.io.StreamTaskNetworkInput.emitNext(StreamTaskNetworkInput.java:128)at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:69)at org.apache.flink.streaming.runtime.tasks.StreamTask.processInput(StreamTask.java:310)at org.apache.flink.streaming.runtime.tasks.mailbox.MailboxProcessor.runMailboxLoop(MailboxProcessor.java:187)

原因分析

1.看堆棧信息，發(fā)送的消息 大概1.6m，單條消息太大了，超出了kakfa的設置,查下kafka客戶端默認配置

這里默認是1m，發(fā)送的消息超出了默認值

解決方案

設置生產(chǎn)者客戶端配置 ,這里設置為2m

Properties properties = new Properties();properties.setProperty("max.request.size","2097152");

2.測試驗證
在本地測試環(huán)境，測試依然報錯，

依然沒有效果，猜測服務端給限制了，就網(wǎng)上查了查資料，服務端也需要配置

3.kafka broker端配置

topic級別配置,只對topic生效，直接使用 kafak-config.sh命令設置，立馬生效，不需要重啟kafka 服務端
max.message.bytes
全局配置,需要重啟kakfa 服務端
message.max.bytes

設置完成，再次驗證
消息發(fā)送成功

5.消費者
對消費者沒有影響，消費者可以正常消費消息，但是如果消息都是特別大，可能需要稍微調(diào)整下，不然消費者批量拉去就會拉取很少的
消息

kafka 版本

kafka broker 0.10.11
kafak client 0.10.11

總結(jié)

以上是生活随笔為你收集整理的kafka单条消息太大引起的线上故障的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。