kafka中zookeeper的作用，主要是做什么的？

秒速五厘米 2022-10-09 00:49 128阅读 0赞

zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。

而且，这也是面试时经常问的。

zookeeper 存储了一些关于 consumer 和 broker 的信息，那么就从这两方面说明 zookeeper 的作用。

# 1. broker #

*  状态

zookeeper 记录了所有 broker 的存活状态，broker 会向 zookeeper 发送心跳请求来上报自己的状态。

zookeeper 维护了一个正在运行并且属于集群的 broker 列表。

*  控制器选举

kafka 集群中有多个 broker，其中有一个会被选举为控制器。

控制器负责管理整个集群所有分区和副本的状态，例如某个分区的 leader 故障了，控制器会选举新的 leader。

从多个 broker 中选出控制器，这个工作就是 zookeeper 负责的。

*  限额权限

kafka 允许一些 client 有不同的生产和消费的限额。

这些限额配置信息是保存在 zookeeper 里面的。

所有 topic 的访问控制信息也是由 zookeeper 维护的。

*  记录 ISR

ISR（in-sync replica） 是 partition 的一组同步集合，就是所有 follower 里面同步最积极的那部分。

一条消息只有被 ISR 中的成员都接收到，才被视为“已同步”状态。

只有处于 ISR 集合中的副本才有资格被选举为 leader。

zookeeper 记录着 ISR 的信息，而且是实时更新的，只要发现其中有成员不正常，马上移除。

*  node 和 topic 注册

zookeeper 保存了所有 node 和 topic 的注册信息，可以方便的找到每个 broker 持有哪些 topic。

node 和 topic 在 zookeeper 中是以临时节点的形式存在的，只要与 zookeeper 的 session 一关闭，他们的信息就没有了。

*  topic 配置

zookeeper 保存了 topic 相关配置，例如 topic 列表、每个 topic 的 partition 数量、副本的位置等等。

# 2. consumer #

*  offset

kafka 老版本中，consumer 的消费偏移量是默认存储在 zookeeper 中的。

新版本中，这个工作由 kafka 自己做了，kafka 专门做了一个 offset manager。

*  注册

和 broker 一样，consumer 也需要注册。

consumer 会自动注册，注册的方式也是创建一个临时节点，consumer down 了之后就会自动销毁。

*  分区注册

kafka 的每个 partition 只能被消费组中的一个 consumer 消费，kafka 必须知道所有 partition 与 consumer 的关系。

[参考地址][Link 1]

[Link 1]: https://www.cnblogs.com/yogoup/p/12000545.html

发表评论取消回复

表情：

评论列表（有 0 条评论，128人围观）

还没有评论，来说两句吧...

相关阅读

相关 96、Kafka中Zookeeper的作用

Kafka中zk的作用 ![在这里插入图片描述][6f480a0504194f19acecdb4525333af6.png] 它是一个分布式协调框架。很好的将消息生产、

曾经终败给现在/ 2024年03月17日 23:28/ 0 赞/ 19 阅读

相关 Hadoop中的ZooKeeper是什么？请解释其作用和用途。

Hadoop中的ZooKeeper是什么？请解释其作用和用途。 ZooKeeper是Hadoop生态系统中的一个分布式协调服务，用于管理和协调分布式应用程序的配置信息、命

旧城等待，/ 2024年03月04日 07:17/ 0 赞/ 44 阅读

相关什么是ZooKeeper？可以做什么?ZooKeeper分布式事务详解篇

前言 > 什么是ZooKeeper，你真的了解它吗。我们一起来看看吧~ 一、什么是 ZooKeeper？ ZooKeeper 是 Apache 的一个顶级项目，为

逃离我推掉我的手/ 2023年01月01日 02:55/ 0 赞/ 155 阅读

相关 Kafka-高效读写数据，Zookeeper在Kafka中的作用，Kafka事务

文章目录 Kafka高效读写数据 1）顺序写磁盘 2）应用Pagecache 3）零复制技术

曾经终败给现在/ 2022年11月27日 15:44/ 0 赞/ 92 阅读

相关 kafka中zookeeper的作用，主要是做什么的？

zookeeper 是 kafka 不可分割的一部分，可见其重要程度，所以我们有必要了解一下 zookeeper 在 kafka 中的具体工作内容。而且，这也是面试时经常问

秒速五厘米/ 2022年10月09日 00:49/ 0 赞/ 129 阅读

相关 Kafka 中 Zookeeper 的作用

Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举一、Kafka在ZooKeeper中保存了哪些信

分手后的思念是犯贱/ 2022年09月01日 09:26/ 0 赞/ 117 阅读

相关 Docker的主要作用是什么？

目前来看，Docker至少有以下应用场景： 1）测试：Docker 很适合用于测试发布，将 Docker 封装后可以直接提供给测试人员进行运行，不再需要测试人员与运维、开

桃扇骨/ 2022年06月16日 07:12/ 0 赞/ 168 阅读

相关 Zookeeper 在 Kafka 中的作用

leader 选举和 follower 信息同步 ![0acf405f965d47c9f0bacb9cf33eb19f.png][] 如上图所示，kafaka集群的

Myth丶恋晨/ 2021年09月25日 03:12/ 0 赞/ 329 阅读

相关 Zookeeper 在 Kafka 中的作用

leader 选举和 follower 信息同步 ![format_png][] 如上图所示，kafaka集群的 broker，和 Consumer 都需要连接 Zo

小咪咪/ 2021年09月02日 10:18/ 0 赞/ 410 阅读

相关数据库中建立索引的主要作用是什么

数据库中建立索引的主要作用是什么数据库中建立索引的主要作用是为了提高查询速度。索引可以加快对数据的查询速度，索引文件作为一个独立的文件进行存储，文件中包含指向表记录的指针。

小灰灰/ 2020年06月07日 15:08/ 0 赞/ 942 阅读