kafka listeners 和 advertised.listeners 的区别及应用

深碍√TFBOYSˉ_ 2022-12-22 00:53 258阅读 0赞

[kafka listeners 和 advertised.listeners 的区别及应用][kafka listeners _ advertised.listeners]

只有内网  
比如在公司搭建的 kafka 集群，只有内网中的服务可以用，这种情况下，只需要用 listeners 就行

listeners=<协议名称>://<内网ip>:<端口>

例如：

listeners=SASL_PLAINTEXT://192.168.0.4:9092

内外网  
在 docker 中或者 在类似阿里云主机上部署 kafka 集群，这种情况下是 需要用到 advertised\_listeners。

以 docker 为例：

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://<公网 ip>:端口(或者 0.0.0.0:端口)
    advertised.listeners=INSIDE://localhost:9092,OUTSIDE://<宿主机ip>:<宿主机暴露的端口>
    listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_PLAINTEXT
    kafka_inter_broker_listener_name:inter.broker.listener.name=INSIDE

客户端连接kafka集群流程

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:8092(<公网 ip>:端口)
    advertised.listeners=INSIDE://127.0.0.1:9092,OUTSIDE://hostname:8092(<公网 ip>:端口)

consumer或者producer客户端通过 listeners 的 OUTSIDE 连接上kafka集群，  
然后通过kafka集群到zookeeper集群寻找 topic partition 的leader，如下：

get /kafka/brokers/topics/test.1/partitions/0/state
    { “controller_epoch”:1,“leader”:11,“version”:1,“leader_epoch”:0,“isr”:[11]}

再通过leader id 去寻找 leader 中的endpoints（即发布到ZK中的advertised.listeners参数，供client使用）

get /kafka/brokers/ids/11
    { “listener_security_protocol_map”:{ “INSIDE”:“PLAINTEXT”,“OUTSIDE”:“PLAINTEXT”},“endpoints”:[“INSIDE://127.0.0.1:9092”,“OUTSIDE://hostname:8092”],“jmx_port”:-1,“host”:“127.0.0.1”,“timestamp”:“1587019055745”,“port”:9092,“version”:4}

告诉kafka客户端要通过什么协议访问指定主机名和端口开放的Kafka服务

[kafka listeners _ advertised.listeners]: https://blog.csdn.net/weixin_38251332/article/details/105638535