Apache Kafka 生产者配置和消费者配置中文释义

心已赠人 2024-04-07 13:45 44阅读 0赞

> Kafka客户端开发中有一个ProducerConfig和ConsumerConfig，熟悉这两个文件内容的含义对我们(尤其是新手)使用,调优Kafka是非常有帮助的。Ctrl+F搜索吧。

## 生产者配置参数释义 ##

1.bootstrap.servers  
指定Kafka集群所需的broker地址清单，默认“”

2.metadata.max.age.ms  
强制刷新元数据时间，毫秒，默认300000，5分钟

3.batch.size  
指定ProducerBatch内存区域的大小，默认16kb

4.acks  
指定分区中必须有多少个副本收到这条消息，才算消息发送成功，默认值1，字符串类型

5.linger.ms  
指定ProducerBatch在延迟多少毫秒后再发送，但如果在延迟的这段时间内batch的大小已经到了batch.size设置的大小，那么消息会被立即发送，不会再等待，默认值0

6.client.id  
用户设定，用于跟踪记录消息，默认”“

7.send.buffer.bytes  
Socket发送缓冲区大小，默认128kb,-1将使用操作系统的设置

8.receive.buffer.bytes  
Socket接收缓冲区大小，默认32kb,-1将使用操作系统的设置

9.max.request.size  
限制生产者客户端发送消息的最大值，默认1MB

10.reconnect.backoff.ms  
连接失败后，尝试连接Kafka的时间间隔，默认50ms

11.reconnect.backoff.max.ms  
尝试连接到Kafka，生产者客户端等待的最大时间，默认1000ms

12.max.block.ms  
控制生产者客户端send()方法和partitionsFor()方法的阻塞时间。当生产者的发送缓存区已满，或者没有可用元数据时，这些方法就会阻塞,默认60s

13.buffer.memory  
生产者客户端中用于缓存消息的缓存区大小，默认32MB

14.retry.backoff.ms  
消息发送失败重试时间间隔，默认100ms

15.compression.type  
指定消息的压缩方式，默认不压缩

16.metrics.sample.window.ms  
样本计算时间窗口，默认30000ms

17.metrics.num.samples  
用于维护metrics的样本数量，默认2

18.metrics.log.level  
metrics日志记录级别，默认info

19.metric.reporters  
类的列表，用于衡量指标，默认空list

20.max.in.flight.requests.per.connection  
可以在一个connection中发送多个请求，叫作一个flight,这样可以减少开销，但是如果产生错误，可能会造成数据的发送顺序改变,默认5

21.retries  
消息发送失败重试次数，默认0

22.key.serializer  
key的序列化方式

23.value.serializer  
value序列化类方式

24.connections.max.idle.ms  
设置多久之后关闭空闲连接，默认540000ms

25.partitioner.class  
分区类,实现Partitioner接口，可以自定义分区规则

26.request.timeout.ms  
客户端将等待请求的响应的最大时间,如果在这个时间内没有收到响应，客户端将重发请求，超过重试次数将抛异常，默认30000ms

27.interceptor.classes  
拦截器类，实现ProducerInterceptor接口，自定义拦截器

28.enable.idempotence  
true为开启幂等性

29.transaction.timeout.ms  
事务超时时间，默认60000ms

30.transactional.id  
设置事务id，必须唯一

## 消费者配置参数释义 ##

1.group.id  
消费者所属消费组的唯一标识

2.max.poll.records  
一次拉取请求的最大消息数，默认500条

3.max.poll.interval.ms  
指定拉取消息线程最长空闲时间，默认300000ms

4.session.timeout.ms  
检测消费者是否失效的超时时间，默认10000ms

5.heartbeat.interval.ms  
消费者心跳时间，默认3000ms

6.bootstrap.servers  
连接集群broker地址

7.enable.auto.commit  
是否开启自动提交消费位移的功能，默认true

8.auto.commit.interval.ms  
自动提交消费位移的时间间隔，默认5000ms

9.partition.assignment.strategy  
消费者的分区配置策略

10.auto.offset.reset  
如果分区没有初始偏移量，或者当前偏移量服务器上不存在时，将使用的偏移量设置，earliest从头开始消费，latest从最近的开始消费，none抛出异常

11.fetch.min.bytes  
消费者客户端一次请求从Kafka拉取消息的最小数据量，如果Kafka返回的数据量小于该值，会一直等待，直到满足这个配置大小，默认1b

12.fetch.max.bytes  
消费者客户端一次请求从Kafka拉取消息的最大数据量，默认50MB

13.fetch.max.wait.ms  
从Kafka拉取消息时，在不满足fetch.min.bytes条件时，等待的最大时间，默认500ms

14.metadata.max.age.ms  
强制刷新元数据时间，毫秒，默认300000，5分钟

15.max.partition.fetch.bytes  
设置从每个分区里返回给消费者的最大数据量，区别于fetch.max.bytes，默认1MB

16.send.buffer.bytes  
Socket发送缓冲区大小，默认128kb,-1将使用操作系统的设置

17.receive.buffer.bytes  
Socket发送缓冲区大小，默认64kb,-1将使用操作系统的设置

18.client.id  
消费者客户端的id

19.reconnect.backoff.ms  
连接失败后，尝试连接Kafka的时间间隔，默认50ms

20.reconnect.backoff.max.ms  
尝试连接到Kafka，生产者客户端等待的最大时间，默认1000ms

21.retry.backoff.ms  
消息发送失败重试时间间隔，默认100ms

22.metrics.sample.window.ms  
样本计算时间窗口，默认30000ms

23.metrics.num.samples  
用于维护metrics的样本数量，默认2

24.metrics.log.level  
metrics日志记录级别，默认info

25.metric.reporters  
类的列表，用于衡量指标，默认空list

26.check.crcs  
自动检查CRC32记录的消耗

27.key.deserializer  
key反序列化方式

28.value.deserializer  
value反序列化方式

29.connections.max.idle.ms  
设置多久之后关闭空闲连接，默认540000ms

30.request.timeout.ms  
客户端将等待请求的响应的最大时间,如果在这个时间内没有收到响应，客户端将重发请求，超过重试次数将抛异常，默认30000ms

31.default.api.timeout.ms  
设置消费者api超时时间，默认60000ms

32.interceptor.classes  
自定义拦截器

33.exclude.internal.topics  
内部的主题:一consumer\_offsets 和一transaction\_state。该参数用来指定 Kafka 中的内部主题是否可以向消费者公开，默认值为 true。如果设置为 true，那么只能使用 subscribe(Collection)的方式而不能使用 subscribe(Pattern)的方式来订阅内部主题，设置为 false 则没有这个限制。

34.internal.leave.group.on.close

35.isolation.level  
用来配置消费者的事务隔离级别。如果设置为“read committed”，那么消费者就会忽略事务未提交的消息，即只能消费到 LSO (LastStableOffset)的位置，默认情况下为 “read\_uncommitted”，即可以消 费到 HW (High Watermark)处的位置

> 其他Kafka文章：
> 
> [微服务同时接入多个Kafka][Kafka]

[Kafka]: https://itsaysay.blog.csdn.net/article/details/126682094?spm=1001.2014.3001.5502

发表评论取消回复

表情：

评论列表（有 0 条评论，44人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka建立生产者消费者

Kafka 是一个分布式流处理平台，可以用于构建高效的消息系统。在 Kafka 中，消息的产生和消费分别由生产者（Producer）和消费者（Consumer）来完成。以...

刺骨的言语ヽ痛彻心扉/ 2024年04月21日 19:24/ 0 赞/ 44 阅读

相关 Apache Kafka 生产者配置和消费者配置中文释义

> Kafka客户端开发中有一个ProducerConfig和ConsumerConfig，熟悉这两个文件内容的含义对我们(尤其是新手)使用,调优Kafka是非常有帮助的。Ct

心已赠人/ 2024年04月07日 13:45/ 0 赞/ 45 阅读

相关 Kafka 生产者和消费者实例

> 目录 > > 一、基于命令行使用Kafka > > 二、创建一个名为“itcasttopic”的主题 > > ①、创建生产者 > > ②、创建消费者 > > ③、

爱被打了一巴掌/ 2024年04月06日 10:11/ 0 赞/ 56 阅读

相关 Kafka：生产者参数配置

maven配置 // 生产者 Properties properties = new Properties(); // 连接集群 bootstrap.

清疚/ 2024年03月24日 11:13/ 0 赞/ 53 阅读

相关消费者kafka配置

配置文件  <bean id="consumerProperties" class="java.util.

阳光穿透心脏的1/2处/ 2022年11月20日 08:19/ 0 赞/ 218 阅读

相关 kafka 生产者和消费者实例

一、环境安装配置 1、去[官网][Link 1]下载kafka 我下载的版本是 kafka\_2.11-0.10.0.1.tgz，下面的实例也是基于该版本。 2、解压安装

爱被打了一巴掌/ 2022年07月16日 01:47/ 0 赞/ 242 阅读

相关 Java测试Kafka生产者和消费者

一、环境准备请看上篇文章介绍[kafka的部署与安装][kafka]，安装成功之后，启动kafka。在Gradle中引入kafka-client依赖 co

- 日理万妓/ 2022年05月23日 13:56/ 0 赞/ 247 阅读

相关 Dubbo生产者消费者配置

引入jar包生产者、消费者都需要引入jar包  <dependency> <groupId>com.a

╰+哭是因爲堅強的太久メ/ 2022年05月14日 09:22/ 0 赞/ 146 阅读

相关 Kafka JavaApi中消费者与生产者的配置

文件目录如下： ![在这里插入图片描述][20181127222406928.png] 1.ConsumerDemo配置 package com.cours

梦里梦外;/ 2022年04月13日 06:37/ 0 赞/ 165 阅读

相关 kafka生产者消费者java

1、HDP EpointKafkaUtil.java package com.epoint.core.utils.hadoop; import

深碍√TFBOYSˉ_/ 2022年02月13日 14:19/ 0 赞/ 292 阅读