kafka学习笔记

爱被打了一巴掌 2024-03-31 17:22 93阅读 0赞

### 1. 官网 ###

[Apache Kafka][]

### 2. akf ###

X轴拆分: 水平复制，就是讲单体系统多运行几个实例，做集群加负载均衡的模式,主主、主备、主从。解决单点，高可用问题

Y轴拆分: 基于不同的业务拆分

Z轴拆分: 基于数据拆分。分片分治

### 3. 概念 ###

Apache Kafka是Apache软件基金会的开源的流处理平台，该平台提供了消息的订阅与发布的消息队列，一般用作系统间**解耦、异步通信**、**削峰填谷**等作用。同时Kafka又提供了Kafka streaming插件包实现了实时在线流处理。相比较一些专业的**流处理框架**不同，Kafka Streaming计算是运行在应用端，具有简单、入门要求低、部署方便等优点。

有的kafka消息可以被多个消费者进行消费，有的只能有一个消费者进行消费

Kafka集群以Topic形式负责分类集群中的Record每一个Record属于一个Topic。每个Topic底层都会

Kafka集群以Topic形式负责分类集群中的Record，每一个Record属于一个Topic。每个Topic底层都会对应一组分区的日志用于持久化Topic中的Record。同时在Kafka集群中，Topic的每一个日志的分区都一定会有1个Borker担当该分区的Leader，其他的Broker担当该分区的follower，Leader负责分区数据的读写操作，follower负责同步改分区的数据。这样如果分区的Leader宕机，该分区的其他follower会选取出新的leader继续负责该分区数据的读写。其中集群的中Leader的监控和Topic的部分元数据是存储在Zookeeper中.

只能保证分区内部的有序性；同一个topic的不同分区，不能保证数据有序

每个消费者可以控制自己的消费偏移量，多个消费者消费消息互不干扰

offset是下一次要读取的位置

kafka的消息消费是以**消费组**的形式进行消费

同一消费组中的消费者对消息进行均分消费

消费组个数一般要小于topic中的分区数

kafka**高吞吐量**，即使是普通的服务器，也可以支持每秒百万级的写入，超过了大部分的消息中间件

kafka的消息是以日志的形式存储在磁盘中，为了优化写入速度，采用了**顺序写入**和**MMFile**两个技术。顺序写可以减少磁盘寻址时间，MMFile（内存映射文件）可以减少IO，使写入性能逼近内存

![4c89ac70396c4ba0a1d71cacc7d45ca7.png][]

kafka的服务将数据往pageCache中写入，由pageCache写入磁盘

### 4. DMA ###

常规IO操作会让CPU阻塞，等待从磁盘中读取数据；

![2b1731ffa5b040468c85471942bfd892.png][]

DMA（直接内存访问）读取会新增DMA，减少CPU的阻塞![ee1612478de24ec2b85f7fb14b2deea7.png][]

零拷贝![a1847e67b14246099ea616f62cb41642.png][]

### 5. 知识点 ###

副本因子的个数不能大于broker的个数

kafka中的分区数只能增，不能减

kafka的操作，默认是异步的

kafka也需要对key、value进行序列化（redis也需要）

生产者发送消息时，对消息进行序列化

消费者消费消息时，要对消息进行反序列化

subscribe消费时，通过消费组实现负载均衡；

assign消费时，可以指定分区、offset进行消费

### 6. 默认的分区策略 ###

1. 如果指定了分区，使用指定的

2. 如果没有指定分区，key存在，那么分区基于key的hash值

3. 如果没有指定分区，也没有key，那么轮讯

也可以自定义分区策略，实现Partitioner接口

默认没有拦截器，可以自定义拦截器

拦截器可以对发送过来的消息进行修改

当消费者首次消费时（kafka中没有记载offset），默认消费最新的消息，也可以进行设置

可以设置offset**自动提交**的时间间隔

![fc2895dc02c1400b93d508d90021edcd.png][]

### 7. ack ###

ack可以保证消息可靠性

![8da182b4afd54b60ba4298c157bae44d.png][]

### 8. **重复消费** ###

生产者正常发生消息，消费者正常消费消息，但是消费完消息给生产者发送应答失败。生产者会认为消息没有消费成功，会重试，此时会造成消息**重复消费**

重试次数，不包含第一次发送

怎么避免消息重复消费：

服务端对消息进行校验，看看是否是重复的请求

添加唯一标识，并记录该标识是否消费完成

幂等：

kafka中幂等默认是关闭的，在使用幂等的时候，必须开启retries=true和acks=all

![97fe144c1cd64f35a884b4dfd8635081.png][]

kafka的幂等只能保证一条记录在分区内发送的原子性；要保证多分区的多条记录之间的完整性，需要事务

### 9. 事务 ###

kafka的事务分为生产者事务、消费者&生产者事务

kafka开启事务后，需要将隔离级别改成read\_committed（默认是read\_uncommitted）

消费者端开启事务后，需要关闭自动提交offset

事务流程

![4fb181b3125f4928980f9da98ab2b133.png][]

### 10. 数据同步机制（leader到follower） ###

partition底层是按照segment（段）对文件进行存储

HW（high watermarker）：高水位线，HW之前的数据都已经完成备份。当所有节点都备份成功，leader才会更新HW

LEO（log end offset）：标识的是分区中最后一条消息的下一个位置，每个分区副本有自己的LEO

ISR：是leader维护的一份处于同步的副本集合，要是followerf同步很慢，会被踢出isr

OSR：于leader副本同步滞后过多的副本（不包括leader副本）将组成 `OSR`

AR：分区中的所有副本统称为 `AR。AR=ISR+OSR`

kafka0.11版本之前，通过高水位(HW)来保持数据同步

缺点：

1. 数据丢失

2. leader和follower数据不一致

kafka0.11之后，引入了Leader Epoch来解决数据同步问题，代替HW作为消息的截断点

### 11. 监控 ###

kafka eagle可以对kafka进行监控

### 12. 整合SpringBoot ###

Springboot中使用@KafkaListeners进行监听，接收消息

使用@SendTo发送消息

也可以使用KafkaTemplate进行操作

kafka的事务也支持@Transactional注解

[Apache Kafka]: https://kafka.apache.org/
[4c89ac70396c4ba0a1d71cacc7d45ca7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/7ee48ff91492446baebba57340278ed7.png
[2b1731ffa5b040468c85471942bfd892.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/2b922660aed540ef90eec2db47895e74.png
[ee1612478de24ec2b85f7fb14b2deea7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/e50ecb7fa65b4548b4f744afee35613d.png
[a1847e67b14246099ea616f62cb41642.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/88da1f3e02de40739cdc6d67ddc95a75.png
[fc2895dc02c1400b93d508d90021edcd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/db8d3c54e86c49d89c039c5bbad902da.png
[8da182b4afd54b60ba4298c157bae44d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/3fbe63bb315d42c6b40e750988fd2a5a.png
[97fe144c1cd64f35a884b4dfd8635081.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b203c31944a14c1eb1523900955ceb2b.png
[4fb181b3125f4928980f9da98ab2b133.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/58a269b190f54cbeb680b97eaaa796a0.png