Kafka 中 Zookeeper 的作用

分手后的思念是犯贱 2022-09-01 09:26 113阅读 0赞

Kafka主要使用ZooKeeper来保存它的元数据、监控Broker和分区的存活状态，并利用ZooKeeper来进行选举

## 一、Kafka在ZooKeeper中保存了哪些信息？ ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMzc4MDM0_size_16_color_FFFFFF_t_70]

上图中圆角的矩形是临时节点，直角矩形是持久化节点

左侧这棵树保存的是Kafka的Broker信息，/brokers/ids/\[0...N\]，每个临时节点对应着一个在线的Broker，Broker启动后会创建一个临时节点，代表Broker已经加入集群可以提供服务了，节点名称就是BrokerID，节点内保存了包括Broker的地址、版本号、启动事件等等一些Broker的基本信息。如果Broker宕机或者与ZooKeeper集群失联了，这个临时节点也会随之消失

[zk: localhost:2181(CONNECTED) 0] ls /brokers    
    [ids, topics, seqid]
    [zk: localhost:2181(CONNECTED) 1] ls /brokers/ids
    [0, 1, 2]
    [zk: localhost:2181(CONNECTED) 2] get /brokers/ids/0
    {"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://192.168.126.158:9092"],"jmx_port":-1,"host":"192.168.
    126.158","timestamp":"1568845320351","port":9092,"version":4}
    cZxid = 0x600000097
    ctime = Thu Sep 19 06:22:00 CST 2019
    mZxid = 0x600000097
    mtime = Thu Sep 19 06:22:00 CST 2019
    pZxid = 0x600000097
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x272020001
    dataLength = 200
    numChildren = 0

右侧部分的这棵树保存的就是主题和分区的信息。/brokers/topics/节点下面的每个子节点都是一个主题，节点的名称就是主题名称。每个主题节点下面都包含一个固定的partitions节点，partitions节点的子节点就是主题下的所有分区，节点名称就是分区编号

每个分区节点下面是一个名为state的临时节点，节点中保存着分区当前的leader和所有的ISR的BrokerID。这个state临时节点是由这个分区当前的Leader Broker创建的。如果这个分区的Leader Broker宕机了，对应的这个state临时节点也会消失，直到新的Leader被选举出来，再次创建state临时节点

[zk: localhost:2181(CONNECTED) 0] ls /brokers/topics
    [__transaction_state, __consumer_offsets, topic-demo]
    [zk: localhost:2181(CONNECTED) 1] ls /brokers/topics/topic-demo
    [partitions]
    [zk: localhost:2181(CONNECTED) 2] ls /brokers/topics/topic-demo/partitions
    [0, 1, 2, 3]
    [zk: localhost:2181(CONNECTED) 3] ls /brokers/topics/topic-demo/partitions/0
    [state]
    [zk: localhost:2181(CONNECTED) 4] get /brokers/topics/topic-demo/partitions/0/state
    {"controller_epoch":27,"leader":1,"version":1,"leader_epoch":43,"isr":[0,1,2]}
    cZxid = 0x10000004c
    ctime = Tue May 21 21:38:32 CST 2019
    mZxid = 0x60000013c
    mtime = Thu Sep 19 06:26:12 CST 2019
    pZxid = 0x10000004c
    cversion = 0
    dataVersion = 85
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 78
    numChildren = 0

## 二、Kafka客户端如何找到对应的Broker？ ##

先根据主题和队列，在右边的树中找到分区对应的state临时节点，state节点中保存了这个分区Leader的BrokerID。拿到这个Leader的BrokerID后，再去左侧的树中，找到BrokerID对应的临时节点，就可以获取到Broker真正的访问地址了

Kafka在每个Broker中都维护了一份和ZooKeeper中一样的元数据缓存，并不是每次客户端请求元数据都去读一次ZooKeeper。由于ZooKeeper提供了Watcher的监控机制，Kafka可以感知到ZooKeeper中的元数据变化，从而及时更新Broker中的元数据缓存

Kafka的客户端并不会直接连接ZooKeeper，它只会和Broker进行远程通信，ZooKeeper上的元数据是通过Broker中转给每个客户端的，在需要的时候，通过RPC请求去Broker上拉取它关心的主题的元数据，然后保存到客户端的元数据缓存中，以便支撑客户端生产和消费。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMzc4MDM0_size_16_color_FFFFFF_t_70]: /images/20220829/0833811a7d724493b0a2e3c5497db688.png