超强!!! Kafka高质量专栏学习大全,持续连载中

淡淡的烟草味﹌ 2022-09-09 10:54 53阅读 0赞

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55-z6Ie76Ie755qE5p2C6LSn6ZO6_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]

![20210822-6ee86120-6728-4b7a-b322-f8a3bfe697ac.GIF][][ 进滴滴技术答疑qun,跟众多技术专家交流技术 ][_qun_]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55-z6Ie76Ie755qE5p2C6LSn6ZO6_size_20_color_FFFFFF_t_70_g_se_x_16]

# 运维 #

[Topic增删查(扩容) kafka-topics.sh ][Topic_ kafka-topics.sh]  
[kafka的动态配置 kafka-config.sh][kafka_ kafka-config.sh]  
[Topic发送消息 kafka-console-producer.sh][Topic_ kafka-console-producer.sh]  
[Topic消费消息 kafka-console-consumer.sh][Topic_ kafka-console-producer.sh]  
[持续批量推送消息 kafka-verifiable-producer.sh][Topic_ kafka-console-producer.sh]  
[持续批量拉取消息kafka-verifiable-consumer][Topic_ kafka-console-producer.sh]  
[生产者压力测试kafka-producer-perf-test.sh][kafka-producer-perf-test.sh]  
[消费者压力测试kafka-consumer-perf-test.sh][kafka-producer-perf-test.sh]  
[删除指定分区的消息kafka-delete-records.sh][kafka-delete-records.sh]  
[查看Broker磁盘信息kafka-log-dirs.sh][kafka-delete-records.sh]  
[消费者组管理 kafka-consumer-groups.sh][kafka-consumer-groups.sh]  
[查看日志文件 kafka-dump-log.sh][kafka-dump-log.sh]  
[副本扩缩、分区迁移、跨路径迁移 kafka-reassign-partitions][kafka-reassign-partitions]  
[【kafka运维】分区副本重分配、数据迁移、副本扩缩容 (附教学视频)][kafka-reassign-partitions]  
More…

# 所有扩展点 #

kafka动态配置增删改 自定义检验–(alter.config.policy.class.name) 实现类AlterConfigPolicy

创建Topic自定义校验策略 (配置参数 create.topic.policy.class.name)

More…

# 面试合集 #

Kafka中ISR、AR是什么？ISR的伸缩又是指什么？  
Kafka中的HW、LEO、LSO、LW等分别代表什么？  
如何保证消息的顺序性?  
简单描述一下生产者发送消息的过程?  
有哪些情形会造成重复消费?  
那些情景下会造成消息漏消费?  
简单描述一下创建/删除Topic的整个流程  
topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？  
优先副本是什么？它有什么特殊的作用？  
简述Kafka的日志目录结构。Kafka中有那些索引文件  
简述kafka过期数据清理策略和简单流程  
Kafka的那些设计让它有如此高的性能？  
Kafka中的延迟队列怎么实现  
Kafka中的事务是怎么实现  
群友问题合集  
【kafka异常】kafka 常见异常处理方案(持续更新)  
Kafka的分区和副本数量是由什么决定的, 怎么设置比较合理？  
一个Broker节点上的某块数据盘坏了,需要更换,有什么最佳实践吗？  
有遇到过topic过期时间,但是到了过期时间却没有正常删除的情况吗?  
Kafka有个消费组堆积了.有什么好的解决方法吗？一直在重新平衡  
有没有遇到哦过Kafka Rebalance 导致消息回到历史的一个点,比如: 消息回到了3天前的某个点  
数据迁移Topic设置限流为50M,为啥网卡流量上是600M呢？  
More…

# 原理源码 #

kafka分区副本的分配规则  
[原创 万字长文解析删除Topic流程领导再也不用担心我排查生产环境问题了(附教学视频,建议收藏!!!)][_Topic]  
[【kafka源码】ReassignPartitionsCommand源码原理分析(附配套教学视频)][kafka_ReassignPartitionsCommand]  
[【kafka源码】Topic的创建源码分析(附视频)][kafka_Topic]  
【kafka原理】zookeeper中的存储结构讲解  
【kafka源码】Controller启动过程以及选举流程源码分析  
【kafka源码】Controller与Brokers之间的网络通信  
【kafka源码】Controller中的状态机  
[【kafka源码】kafka-configs.sh动态配置][kafka_kafka-configs.sh]  
[【kafka源码】kafka-topics.sh之删除Topic源码解析][_Topic]  
[【kafka源码】kafka-topics.sh之alter源码解析(分区扩容)][kafka_kafka-topics.sh_alter]  
【kafka源码】LogManager源码分析  
Broker上线分析  
Broker下线分析  
Api请求–元心心控制类请求  
消费组协调器GroupCoordinator  
副本管理之副本同步流程分析  
Log数据管理之数据存储  
消费组客户端主题分析  
协调器分析  
客户端是如何拉取数据的  
生产者生产数据流程分析  
元信息管理流程  
More…

# 思考 #

【kafka思考】最小成本的扩缩容副本设计方案  
[这可可能是kafka中的一个小bug…][kafka_bug]  
More…

# 实战 #

[【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)][kafka]  
【kafka 实战】kafka磁盘满了怎么办！！！  
【kafka实战】一不小心删除了brokers topics下的某个Topic节点

未完待续,作者肝文中…

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55-z6Ie76Ie755qE5p2C6LSn6ZO6_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: /images/20220829/b913062fbb2c4f8aa05183ecaa5ce36d.png
[20210822-6ee86120-6728-4b7a-b322-f8a3bfe697ac.GIF]: /images/20220829/02716dc53a054ac3b0afa186de653176.png
[_qun_]: https://docs.qq.com/mind/DVWxlaFVGUmhEeFNI
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA55-z6Ie76Ie755qE5p2C6LSn6ZO6_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/2d4da2a45f5846e9bb60697d42b28ef2.png
[Topic_ kafka-topics.sh]: https://shirenchuang.blog.csdn.net/article/details/118696023
[kafka_ kafka-config.sh]: https://shirenchuang.blog.csdn.net/article/details/119275675
[Topic_ kafka-console-producer.sh]: https://shirenchuang.blog.csdn.net/article/details/119327126
[kafka-producer-perf-test.sh]: https://shirenchuang.blog.csdn.net/article/details/119405925
[kafka-delete-records.sh]: https://shirenchuang.blog.csdn.net/article/details/119490882
[kafka-consumer-groups.sh]: https://shirenchuang.blog.csdn.net/article/details/119670405
[kafka-dump-log.sh]: https://shirenchuang.blog.csdn.net/article/details/119774912
[kafka-reassign-partitions]: https://shirenchuang.blog.csdn.net/article/details/118028403
[_Topic]: https://shirenchuang.blog.csdn.net/article/details/119720170
[kafka_ReassignPartitionsCommand]: https://shirenchuang.blog.csdn.net/article/details/118051963
[kafka_Topic]: https://shirenchuang.blog.csdn.net/article/details/119563568
[kafka_kafka-configs.sh]: https://shirenchuang.blog.csdn.net/article/details/119344584
[kafka_kafka-topics.sh_alter]: https://shirenchuang.blog.csdn.net/article/details/117753504
[kafka_bug]: https://shirenchuang.blog.csdn.net/article/details/119912418
[kafka]: https://shirenchuang.blog.csdn.net/article/details/118631272