kafka学习

旧城等待， 2022-03-09 16:24 234阅读 0赞

Kafka是一个开源的，分布式的，高吞吐量的消息系统。

# kafka架构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70]

# 基本概念 #

> Topic

主题，或者说是一类消息。类似于RabbitMQ中的queue。可以理解为一个队列。

> Broker

一个Kafka服务称之为Broker。Kafka可以集群部署，每一个Kafka部署就是一个Broker。

> Producer & Consumer

生产者和消费者。一般消息系统都有生产者和消费者的概念。生产者产生消息，即把消息放入Topic中，而消费者则从Topic中获取消息处理。一个生产者可以向多个Topic发送消息，一个消费者也可以同时从几个Topic接收消息。同样的，一个Topic也可以被多个消费者来接收消息。

> Partition

分区，或者说分组。分组是Kafka提升吞吐量的一个关键设计。这样可以让消费者多线程并行接收消息。创建Topic时可指定Parition数量。一个Topic可以分为多个Partition，也可以只有一个Partition。`每一个Partition是一个有序的，不可变的消息序列。`每一个消息在`各自的Partition中有唯一的ID`。这些ID是有序的。称之为offset，`offset在不同的Partition中是可以重复的，但是在一个Partition中是不可能重复的`。越大的offset的消息是最新的。Kafka只保证在每个Partition中的消息是有序的，就会带来一个问题，即如果一个Consumer在不同的Partition中获取消息，那么消息的顺序也许是和Producer发送到Kafka中的消息的顺序是不一致的。

> Consumer Group

顾名思义，定义了一组消费者。一般来说消息中间件都有两种模式：队列模式和发布订阅模式。队列模式及每一个消息都会给其中一个消费者，而发布订阅模式则是每个消息都广播给所有的消费者。Kafka就是使用了Consumer Group来实现了这两种模式。

如果所有的消费者都是同一个Consumer Group的话，就是队列模式，每个消息都会负载均衡的分配到所有的消费者。

如果所有的消息者都在不同的Consumer Group的话，就是发布订阅模式，每个消费者都会得到这个消息。

> replica

partition 的副本，保障 partition 的高可用。

> leader

replica 中的一个角色， producer 和 consumer 只跟 leader 交互。

> follower

replica 中的一个角色，从 leader 中复制数据。

> Zookeeper

Kafka的运行依赖于Zookeeper。Topic、Consumer、Patition、Broker等注册信息都存储在ZooKeeper中。

# 原理 #

> producer 发布消息

1 写入方式  
producer 采用 push 模式将消息发布到 broker，每条消息都被 append 到 patition 中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）。

2 消息路由  
producer 发送消息到 broker 时，会根据分区算法选择将其存储到哪一个 partition。其路由机制为：

1.  指定了 patition，则直接使用；
2.  未指定 patition 但指定 key，通过对 key 的 value 进行hash 选出一个 patition
3.  patition 和 key 都未指定，使用轮询选出一个 patition。

3 写入流程

1.  producer 先从 zookeeper 的 “/brokers/…/state” 节点找到该 partition 的 leader
2.  producer 将消息发送给该 leader
3.  leader 将消息写入本地 log
4.  followers 从 leader pull 消息，写入本地 log 后 leader 发送 ACK
5.  leader 收到所有 ISR 中的 replica 的 ACK 后，增加 HW（high watermark，最后 commit 的 offset） 并向 producer 发送 ACK

> broker 保存消息

1 存储方式  
物理上把 topic 分成一个或多个 patition（对应 server.properties 中的 num.partitions=3 配置），每个 patition 物理上对应一个文件夹（该文件夹存储该 patition 的所有消息和索引文件）  
2 存储策略  
无论消息是否被消费，kafka 都会保留所有消息。有两种策略可以删除旧数据：

1.  基于时间：log.retention.hours=168
2.  基于大小：log.retention.bytes=1073741824

需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

# zookeeper 节点 #

kafka 在 zookeeper 中的存储结构如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 1]

# kafka 高可用HA #

# 参考文献 #

[kafka学习笔记：知识点整理][kafka]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70]: /images/20220309/a2acf6b48825487caf927c5d61315323.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NhbWp1c3RpbjE_size_16_color_FFFFFF_t_70 1]: /images/20220309/0da3b18c63644a78b4ca98c57460255f.png
[kafka]: https://www.cnblogs.com/cyfonly/p/5954614.html