kafka consumer 日志疯狂输出 marking the coordinator host:9092 for dead group consumer-test

╰+哭是因爲堅強的太久メ 2022-05-21 06:27 150阅读 0赞

最近在调试spark-streaming消费kafka消息时发现日志疯狂输出

  1.     marking the coordinator host:9092 for dead group consumer-test

kafka server为集群，连接时使用的是hostname:9092方法去连接，程序也不报错，去kafka server当中查询consumer-test组也存在，经过排查发现是由于我的kafka集群某些hostname并未在client机器上配置，而其它机器server的hostname配置了，某一个机器网络是不通的，导致去获取该机器上的consumer-test组时无法获取到，就标记该组在机器上为死亡状态。

解决方案：配置该kafka server节点的hostname到client的/etc/hosts文件下，保证两者网络通信畅通。重新启动spark应用后，程序消费正常，问题解决

例如：连接kafka的ip地址为：192.10.9.20：9092 kafka的节点显示的是cnode1 dead

需要在host文件当中配置：192.10.9.20 cnode1

发表评论

表情：
评论列表 （有 0 条评论，150人围观）

还没有评论，来说两句吧...

相关阅读