kafka常见错误

青旅半醒 2022-03-22 04:18 235阅读 0赞

## kafka常见错误整理 ##

一、 flume正常运行，但是kafka接受不了消息，flume日志打印如下

2019-01-18 10:13:44,762 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)] Fetching metadata from broker id:0,host:hadoop01,port:9092 with correlation id 9 for 1 topic(s) Set(weblog)
    2019-01-18 10:13:44,763 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)] Connected to hadoop01:9092 for producing
    2019-01-18 10:13:44,765 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)] Disconnecting from hadoop01:9092
    2019-01-18 10:13:44,766 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)] Disconnecting from hadoop01:9092
    2019-01-18 10:13:44,769 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - kafka.utils.Logging$class.info(Logging.scala:68)] Connected to hadoop01:9092 for producing
    2019-01-18 10:13:44,771 (SinkRunner-PollingRunner-DefaultSinkProcessor) [WARN - kafka.utils.Logging$class.warn(Logging.scala:83)] Produce request with correlation id 11 failed due to [weblog,0]: kafka.common.NotLeaderForPartitionException

原因：

1.  三台服务器未启动，leader宕机
2.  三台配置不同，我的错误就是第二台中的分区目录log.dirs=/home/software/kafka\_2.10-0.10.0.1/kafka-logs配置不同，没有建立分区文件，导致没有选出leader

发表评论取消回复

表情：

评论列表（有 0 条评论，235人围观）

还没有评论，来说两句吧...

相关阅读

相关 kafka使用时常见的几个错误汇总

文章目录一、启动报错二、使用报错三、kafka消费不到数据一、启动报错 WARN \[AdminClient clientId=admi

小鱼儿/ 2024年03月31日 11:20/ 0 赞/ 42 阅读

相关 Kafka（Windows）安装配置启动（常见错误扫雷）教程

文章目录一、下载安装二、启动kafka服务路径错误三、创建Topic，显示数据四、生产消息并消费创建生产者

矫情吗；*/ 2024年03月24日 09:55/ 0 赞/ 20 阅读

相关 Kafka常见的问题

1. Consumer的容灾能力是怎样体现的？会带来什么问题？容灾能力：pull拉取消息，并且保存消费具体位置，当消费者宕机恢复上线时可以根据之前保存的消费位置重新进行

冷不防/ 2022年11月18日 10:52/ 0 赞/ 171 阅读

相关 Kafka 常见概念、基础理论

目录 Kafka中的基本概念 Broker、Topic、Partition Offset、LE

朴灿烈づ我的快乐病毒、/ 2022年10月16日 04:53/ 0 赞/ 161 阅读

相关 30个Kafka常见错误小集合

本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kaf

以你之姓@/ 2022年09月03日 06:27/ 0 赞/ 1670 阅读

相关 spark常见错误

一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeepe

雨点打透心脏的1/2处/ 2022年05月16日 07:13/ 0 赞/ 742 阅读

相关 kafka常见错误

kafka常见错误整理一、 flume正常运行，但是kafka接受不了消息，flume日志打印如下 2019-01-18 10:13:44,762 (Sink

青旅半醒/ 2022年03月22日 04:18/ 0 赞/ 236 阅读

相关 Ubuntu常见错误

ubuntu 常见错误--Could not get lock /var/lib/dpkg/lock 通过终端安装程序sudo apt-get install xxx时出

Myth丶恋晨/ 2022年02月13日 05:09/ 0 赞/ 288 阅读

相关错误集：常见错误

案例一：从jsp提交数据到action报此错； java.lang.IllegalArgumentException: id to load is requi

怼烎@/ 2022年01月10日 23:55/ 0 赞/ 395 阅读

相关 Flume-常见错误

Flume-常见错误 1 Closing file failed. Will retry again in 120 seconds. 1.1 报错现象和解决

Myth丶恋晨/ 2021年10月13日 22:36/ 0 赞/ 729 阅读