kafka 配置文件 server.propeties参数

「爱情、让人受尽委屈。」 2022-05-15 02:36 200阅读 0赞

基础配置：

broker.id

Broker的ID，每个broker必须又有唯一的值。

delete.topic.enable

Topic是否删除过期日志的开关，默认关闭。

Socket服务器配置：

listeners

Socket服务器监听的地址，如果没有设置，则监听java.net.InetAddress.getCanonicalHostName()返回的地址。

格式为： listeners = listener\_name://hostname:port

例如： listeners = PLAINTEXT://your.host.name:9092

advertised.listeners

broker通知到producers和consumers的主机地址和端口号。如果未设置，使用listeners的配置。否则，使用java.net.InetAddress.getCanonicalHostName()返回的值。

listeners.security.protocol.map = PLAINTEXT：PLAINTEXT,SSL:SSL,SASL\_PLAINTEXT:SASL\_PLAINTEXT,SASL\_SSL:SASL\_SSL,

listener名称到安全协议。默认所有的listener使用相同的安全协议。

num.network.thread = 3

服务器用来从网络接收请求和发送响应数据到网络的线程数。

num.io.thread = 8

服务器用来处理请求的线程数，可能包含磁盘I/O的线程。

socket.send.buffer.bytes = 102400

服务器发送数据的缓存大小。

socket.receive.buffer.bytes = 102400

服务器接收数据的缓存大小。

socket.request.max.bytes = 104857600

socket服务器接收的单个request大小的最大值。

Log 基本设置：

log.dirs = /tmp/kafka-logs

Kafka存储log文件的目录，多个目录用逗号分隔。

num.partitions = 1

topic的默认分割的分区个数。多分区允许消费者并行获取数据，但这也会造成brokers交叉保存多个文件。

num.recovery.threads.per.data.dir = 1

当Kafka启动时恢复数据和关闭时保存数据到磁盘时使用的线程个数。

offsets.topic.replication.factor=1

transaction.state.log.replication.factor=1

transaction.state.log.min.isr=1

副本个数。除了开发测试外，其他情况都建议将该值设置为大于1的值以保证高可用，比如：3。

Log持久化策略：

Message会立即写入到文件系统。但我们只使用了fsync()方法，该操作并不会立即执行OS的写入磁盘操作。

下面几个参数可以配置写入磁盘的策略。

log.flush.interval.messages = 10000

在持久化到磁盘前message最大接收条数。

log.flush.interval.ms = 1000

持久化的最大时间间隔。

Log保留策略：

下面的参数配置如何处理log分片。可以配置为删除超过指定时间的数据，或超过指定大小的数据。

如果一个segment符合其中任意调节，就会被删除。

log.retention.hours = 168

将已保存超过7天的数据删除。

log.retention.bytes = 1073741824

基于数据大小的log保存策略。当分片的大小超过该值时，就会被删除。改功能不依赖于log.retention.hours。

log.segment.bytes = 1073741824

单个分片的上限，达到该大小后会生成新的日志分片。

log.retention.check.interval.ms = 300000

日志分片的检测时间间隔，每隔该事件会根据log保留策略决定是否删除log分片。

Zookeeper配置：

zookeeper.connect = localhost:2181

Zookeeper连接字符串。是一个使用逗号分隔的host：port字符串。

zookeeper.connection.timeout.ms = 6000

连接zookeeper的超时时间。

消费者分组协调者设置：

group.initial.rebalance.delay.ms = 0

在开发测试环境下该值设置为0，保证启动后马上可以使用。但在生产环境下，默认值3秒更适合。

发表评论取消回复

表情：

评论列表（有 0 条评论，200人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka：生产者参数配置

maven配置 // 生产者 Properties properties = new Properties(); // 连接集群 bootstrap.

清疚/ 2024年03月24日 11:13/ 0 赞/ 91 阅读

相关 kafka生产者实例配置参数

KafkaProducer中有三个参数是必填的： `bootstrap.servers`：指定生产者客户端连接kafka集群所需的broker地址列表，格式为host1:p

悠悠/ 2023年07月14日 10:56/ 0 赞/ 48 阅读

相关 kafka消费者参数配置

参数默认配置 auto.commit.interval.ms = 5000 check.crcs = true client.id =

蔚落/ 2022年10月29日 03:13/ 0 赞/ 255 阅读

相关 Kafka(三)：kafka 配置参数详解

kafka集群安装、或者在使用kafka时，需对kafka配置参数进行调整、优化，对kafka的配置文件的参数要一定的了解，才能更好的维护、使用好kafka集群。

青旅半醒/ 2022年08月29日 15:48/ 0 赞/ 233 阅读

相关 kafka之server.properties配置文件参数说明

每个kafka broker中配置文件server.properties默认必须配置的属性如下： \[java\] [view plain][] [copy][view

╰+攻爆jí腚メ/ 2022年05月30日 06:41/ 0 赞/ 193 阅读

相关 kafka配置参数详解

[kafka配置参数详解][kafka] 3.1 Broker Configs 基本配置如下： \-broker.id \-log.dir

迷南。/ 2022年05月26日 03:21/ 0 赞/ 268 阅读

相关 kafka所有配置参数说明

每个kafka broker中配置文件server.properties默认必须配置的属性如下： 1. `broker.id=0` 2. `num.n

小鱼儿/ 2022年05月17日 09:58/ 0 赞/ 273 阅读

相关 kafka 配置文件 server.propeties参数

基础配置： broker.id Broker的ID，每个broker必须又有唯一的值。 delete.topic.enable Topic是否删除过期日志的开关，

「爱情、让人受尽委屈。」/ 2022年05月15日 02:36/ 0 赞/ 201 阅读

相关 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：https://docs.spring.io/spring-kafka/reference/htmlsingle kafka文档地址：htt

悠悠/ 2022年04月24日 10:04/ 0 赞/ 205 阅读

相关 Spring Kafka中关于Kafka的配置参数

SpringKafka文档地址：[https://docs.spring.io/spring-kafka/reference/htmlsingle][https_docs.sp

梦里梦外;/ 2022年02月03日 04:09/ 0 赞/ 240 阅读