kafka踩坑

落日映苍穹つ 2023-10-14 21:33 39阅读 0赞

#### 问题：项目中用到kafka作为消息中间件，因为现在是开发阶段，试了一次没问题之后就没在管，今天又要测试kafka相关功能，发现消息发送者能够正常发送消息，但是消费者怎么也就收不到数据。然后经过各种百度进行了如下的一系列操作，终于可用了 ####

#### 解决方法： ####

1.  首先停止kafka  
    进入到kafka的bin目录下，停止kafka：  
    ./kafka-server-stop.sh …/config/server.properties
2.  查看server.properties命令，看logdir的目录，换个目录或者删除目录中的数据  
    vi server.properties
3.  停止zookeer，进入到zookeeper 的bin目录下，执行：  
    ./zkServer.sh stop
4.  同理查看zookeeper配置文件，修改dataDir的路径或者删除目录中的数据  
    vi zoo.cfg(conf目录下的)
5.  重启zookeeper，进入到zookeeper 的bin目录下，执行：  
    ./zkServer.sh start
6.  重启kafka，进入到kafka的bin目录下，执行：  
    ./kafka-server-start.sh …/config/server.properties  
    查看kafka启动是否有错误，如果没有错误，以后台方式执行  
    ./kafka-server-start.sh -daemon …/config/server.properties

#### 记录几个常用命令 ####

*  创建主题：./kafka-topics --zookeeper.sh localhost:2181 --create --topic test123 --partitions 2 --replication-factor 1
 *  查看主题：./kafka-topics --zookeeper.sh localhost:2181 --list
 *  发送消息：./kafka-console-producer.sh --broker-list localhost:9092 --topic test123
 *  消费消息：./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test123 --from-beginning
 *  查看消息消费：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group groupname --describe

> 虽然问题解决了，但是kafka内部原理根本不了解，在这立个flag，学习kafka！

发表评论取消回复

表情：

评论列表（有 0 条评论，39人围观）

还没有评论，来说两句吧...

相关阅读

相关 BTrace踩坑

1. BTrace跟踪方法执行时间时对代码侵入性强，停止监控时会导致原线上应用宕掉![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdG

桃扇骨/ 2024年02月19日 19:06/ 0 赞/ 58 阅读

相关 kafka踩坑

问题：项目中用到kafka作为消息中间件，因为现在是开发阶段，试了一次没问题之后就没在管，今天又要测试kafka相关功能，发现消息发送者能够正常发送消息，但是消费者怎么也就收

落日映苍穹つ/ 2023年10月14日 21:33/ 0 赞/ 40 阅读

相关 SparkStreaming踩坑之Kafka重复消费

1.问题描述使用SparkStreaming连接Kafka的demo程序每次重启，都会从Kafka队列里第一条数据开始消费。修改enable.auto.commit相

谁践踏了优雅/ 2023年05月31日 02:45/ 0 赞/ 7 阅读

相关 slam踩坑

一、Linux or cmake 1. cmake无法找到头文件（fatal error: .h: No such file or directory） [ cma

小咪咪/ 2022年11月18日 01:55/ 0 赞/ 241 阅读

相关 kafka两年,踩过那些坑

大家好，我是苏三，又和大家见面了。前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值

妖狐艹你老母/ 2022年11月12日 13:44/ 0 赞/ 210 阅读

相关 Elementui 踩坑

el-upload 第一次没有上传文件提交触发效验后提示文件未上传，上传图片后再点击提交还是提示图片未上传官网里说：由于 JavaScript 的限制，Vue 不能检测数

曾经终败给现在/ 2022年10月12日 01:38/ 0 赞/ 223 阅读

相关 kafka实战，踩坑记录

我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，在出现线上问题时能够及时处理。我当时在后厨

我不是女神ヾ/ 2022年08月30日 04:21/ 0 赞/ 197 阅读

相关 Spark踩坑记——Spark Streaming+Kafka

前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sp

超、凢脫俗/ 2022年05月27日 06:39/ 0 赞/ 217 阅读

相关 katalon踩坑

1.运行报错：Activity' never started ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0

蔚落/ 2022年04月25日 01:10/ 0 赞/ 357 阅读

相关 RocketMQ ——踩坑

1.MQClientException: No route info of this topic, TopicTest1 在客户端的 Producer 运行起来准

Dear 丶/ 2022年02月13日 04:53/ 0 赞/ 470 阅读