图解 Kafka，一目了然！

r囧r小猫 2022-10-15 15:51 136阅读 0赞

![2c812152b771614891731fa3edfe7147.png][]

Kafka 是主流的消息流系统，其中的概念还是比较多的，下面通过图示的方式来梳理一下 Kafka 的核心概念，以便在我们的头脑中有一个清晰的认识。

## 基础 ##

Kafka 是一套流处理系统，可以让后端服务轻松的相互沟通，是微服务架构中常用的组件。

![5e0207a173e1b359aad335e15832af87.png][]

## 生产者消费者 ##

生产者服务 Producer 向 Kafka 发送消息，消费者服务 Consumer 监听 Kafka 接收消息。

![e03d9520d8eae47b4087aadf264b596b.png][]

一个服务可以同时为生产者和消费者。

![ffa7825f78ad9ca2065d7ee5ced64fc4.png][]

## Topics 主题 ##

Topic 是生产者发送消息的目标地址，是消费者的监听目标。

![dc273982f88bce10ffc29509ea8201d0.png][]

一个服务可以监听、发送多个 Topics。

![d6579e4e8190cdfcdae8dd8e7a420c33.png][]

Kafka 中有一个【consumer-group（消费者组）】的概念。

这是一组服务，扮演一个消费者。

![5e38e616899e61e649caf0e963e62163.png][]

如果是消费者组接收消息，Kafka 会把一条消息路由到组中的某一个服务。

![27ca25c1e5c9ca78ebbe93b83f04baea.png][]

这样有助于消息的负载均衡，也方便扩展消费者。

Topic 扮演一个消息的队列。

首先，一条消息发送了。

![13818478c9bef2548f9ed287edf03f5a.png][]

然后，这条消息被记录和存储在这个队列中，不允许被修改。

![a986ccd2d6464367944d32c396126bca.png][]

接下来，消息会被发送给此 Topic 的消费者。

但是，这条消息并不会被删除，会继续保留在队列中。

![ae51a85bf047795c93d137cf46c921f1.png][]

继续发送消息。

![a3f51643588337dbd35f00ca15473a1c.png][]

像之前一样，这条消息会发送给消费者、不允许被改动、一直呆在队列中。

（消息在队列中能呆多久，可以修改 Kafka 的配置）

![586884bd6ea07ce7c10013203fa8512c.png][] ![b59459b953255e347505679af8e0ed04.png][]

## Partitions 分区 ##

上面 Topic 的描述中，把 Topic 看做了一个队列，实际上，一个 Topic 是由多个队列组成的，被称为【Partition（分区）】。

这样可以便于 Topic 的扩展。

![46c279b81ac8084d59ec0c0d4f9f6edc.png][]

生产者发送消息的时候，这条消息会被路由到此 Topic 中的某一个 Partition。

![8d96f58404881877aeba16f192aa0d37.png][]

消费者监听的是所有分区。

![d87216619cd5ded75b9110c41b03c036.png][]

生产者发送消息时，默认是面向 Topic 的，由 Topic 决定放在哪个 Partition，默认使用轮询策略。

![066a35e36de02024a92049b73fe5e3c9.png][]

也可以配置 Topic，让同类型的消息都在同一个 Partition。

例如，处理用户消息，可以让某一个用户所有消息都在一个 Partition。

例如，用户1发送了3条消息：A、B、C，默认情况下，这3条消息是在不同的 Partition 中（如 P1、P2、P3）。

在配置之后，可以确保用户1的所有消息都发到同一个分区中（如 P1）。

![b14f36d69372834088f48b737e446c79.png][]

这个功能有什么用呢？

这是为了提供消息的【有序性】。

消息在不同的 Partition 是不能保证有序的，只有一个 Partition 内的消息是有序的。

![db2dbb66ea46eadfefd4e42d1c5e3738.png][] ![667cced386bc3f753c1e0a6859d021fd.png][]

## 架构 ##

Kafka 是集群架构的，ZooKeeper是重要组件。

![e86caa5643f64665863e425ebb38394d.png][]

ZooKeeper 管理者所有的 Topic 和 Partition。

Topic 和 Partition 存储在 Node 物理节点中，ZooKeeper负责维护这些 Node。

![b8eeeab725567a8eb5d469058e51d123.png][]

例如，有2个 Topic，各自有2个 Partition。

![14d64e74253572189d3fdd58a22fc79a.png][]

这是逻辑上的形式，但在 Kafka 集群中的实际存储可能是这样的：

![6e81439fd81516ab0bb7c57a6a4a98b1.png][]

Topic A 的 Partition \#1 有3份，分布在各个 Node 上。

这样可以增加 Kafka 的可靠性和系统弹性。

3个 Partition \#1 中，ZooKeeper 会指定一个 Leader，负责接收生产者发来的消息。

![4aff260c0fa850b3571d51f86df63a17.png][]

其他2个 Partition \#1 会作为 Follower，Leader 接收到的消息会复制给 Follower。

![63ee3733fae12c7c5875892734a4dc98.png][]

这样，每个 Partition 都含有了全量消息数据。

![d5f803f37a175a09f40fcc3e28da75ed.png][]

即使某个 Node 节点出现了故障，也不用担心消息的损坏。

Topic A 和 Topic B 的所有 Partition 分布可能就是这样的：

![3194326d1d771e3874b1c8838f2b9ca0.png][]

感谢阅读，希望对你有所帮助 :) 翻译整理自：https://timothystepro.medium.com/visualizing-kafka-20bc384803e7

译文：https://blog.csdn.net/duysh/article/details/116355977

推荐好文

[强大，10k+点赞的 SpringBoot 后台管理系统竟然出了详细教程！][10k_ SpringBoot]

[分享一套基于SpringBoot和Vue的企业级中后台开源项目，代码很规范！][SpringBoot_Vue]

[能挣钱的，开源 SpringBoot 商城系统，功能超全，超漂亮][SpringBoot]![fc2564a4517bb765ff9aff3ee0d16a3e.png][]

[2c812152b771614891731fa3edfe7147.png]: /images/20221014/1f212560f57e40bca560c7e48823a047.png
[5e0207a173e1b359aad335e15832af87.png]: /images/20221014/714095f82c6c44c39756f59580052df1.png
[e03d9520d8eae47b4087aadf264b596b.png]: /images/20221014/6f0389fbd5fe4594957251a884c5e567.png
[ffa7825f78ad9ca2065d7ee5ced64fc4.png]: /images/20221014/43b81d99f62444c2ab10eedac4ce80e1.png
[dc273982f88bce10ffc29509ea8201d0.png]: /images/20221014/e13a012a111644a780e5027726bb351b.png
[d6579e4e8190cdfcdae8dd8e7a420c33.png]: /images/20221014/7638a64b9aed4e76826497a2485a782f.png
[5e38e616899e61e649caf0e963e62163.png]: /images/20221014/7da681223dc5442291445d0539f5b83f.png
[27ca25c1e5c9ca78ebbe93b83f04baea.png]: /images/20221014/433226f6e2694fa3820e65840e8ee86d.png
[13818478c9bef2548f9ed287edf03f5a.png]: /images/20221014/377df48c5f3b4574b7b5128aa0a55127.png
[a986ccd2d6464367944d32c396126bca.png]: /images/20221014/c746eb1e42eb4c38b5ac929caa732cc3.png
[ae51a85bf047795c93d137cf46c921f1.png]: /images/20221014/2dcbc7bf27014f598a52f6f6e796a366.png
[a3f51643588337dbd35f00ca15473a1c.png]: /images/20221014/29590c92024146b388e5d9e2d0b6ff4c.png
[586884bd6ea07ce7c10013203fa8512c.png]: https://img-blog.csdnimg.cn/img_convert/586884bd6ea07ce7c10013203fa8512c.png
[b59459b953255e347505679af8e0ed04.png]: /images/20221014/0260479885494ad3b795490429d84cc7.png
[46c279b81ac8084d59ec0c0d4f9f6edc.png]: /images/20221014/1c139cfbb98c42618accb484c8b7bfa2.png
[8d96f58404881877aeba16f192aa0d37.png]: /images/20221014/b9e34782c2b94361bd5ab2695e2290db.png
[d87216619cd5ded75b9110c41b03c036.png]: /images/20221014/f950bce467174467a7c1a0aad4029ddc.png
[066a35e36de02024a92049b73fe5e3c9.png]: /images/20221014/6127d7c7ce194bde9829d0514305a190.png
[b14f36d69372834088f48b737e446c79.png]: /images/20221014/cab2e772a0ec40a7b9213d12b118b1b9.png
[db2dbb66ea46eadfefd4e42d1c5e3738.png]: https://img-blog.csdnimg.cn/img_convert/db2dbb66ea46eadfefd4e42d1c5e3738.png
[667cced386bc3f753c1e0a6859d021fd.png]: /images/20221014/923be8de8a584e51b7a390cd7eeeca9d.png
[e86caa5643f64665863e425ebb38394d.png]: /images/20221014/79f087ced9cc471395e2bb09766de389.png
[b8eeeab725567a8eb5d469058e51d123.png]: /images/20221014/b55f119d9c5b4cbe9d7e481519599af3.png
[14d64e74253572189d3fdd58a22fc79a.png]: /images/20221014/ae54b2b979bc4f2087c32464d9e23f38.png
[6e81439fd81516ab0bb7c57a6a4a98b1.png]: /images/20221014/6554f87ae4ad4cf6a7ba2efcd6d1c7d0.png
[4aff260c0fa850b3571d51f86df63a17.png]: /images/20221014/161b5940b8ef4016a04fb6659074d73b.png
[63ee3733fae12c7c5875892734a4dc98.png]: /images/20221014/743e7fc0cf344c1394692b76d9d4d7f6.png
[d5f803f37a175a09f40fcc3e28da75ed.png]: /images/20221014/c759a8ba506d45a1881e36d0cbaff039.png
[3194326d1d771e3874b1c8838f2b9ca0.png]: /images/20221014/345868ed95ea43cbb2161327c7e6d1a4.png
[10k_ SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzI4Njc5NjM1NQ%3D%3D&chksm=ebd5c411dca24d07446a4f22772cd12d2cc1143b62eb922a14500ae981cd57fb850ef74ca257&idx=2&mid=2247498557&scene=21&sn=84902d7030e174e152615d8fae3755cc#wechat_redirect
[SpringBoot_Vue]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799be6cb0e12f0b58479f8b031bc5ae79efdca1880ff9b19f0a107c3a88c37b9596dc73203&idx=2&mid=2247497288&scene=21&sn=65d7111a19e920df1e9416959594b2f4#wechat_redirect
[SpringBoot]: http://mp.weixin.qq.com/s?__biz=MzU2MTI4MjI0MQ%3D%3D&chksm=fc799a9ccb0e138a64a2671f31b8d4be1b3c061a288f7b0d1d4af02a60c45a72231446b91e00&idx=2&mid=2247497522&scene=21&sn=c5b4e596be4ac7d7f293e7e2f0ea0769#wechat_redirect
[fc2564a4517bb765ff9aff3ee0d16a3e.png]: https://img-blog.csdnimg.cn/img_convert/fc2564a4517bb765ff9aff3ee0d16a3e.png