浅谈kafka（详解版＋笔记版）

水深无声 2023-09-26 22:54 63阅读 0赞

## 入门 ##

### 1、什么是kafka? ###

apache Kafka is a distributed streaming platform. What exactly dose that mean?

![format_png][]

Apache Kafka 是消息引擎系统，也是一个分布式流处理平台（Distributed Streaming Platform）

### 2、kafka全景图： ###

![format_png 1][]

### 3、Kafka的版本演进： ###

![format_png 2][]

![format_png 3][]

### 4、kafka选型: ###

Apache Kafka：也称社区版 Kafka。优势在于迭代速度快，社区响应度高，使用它可以让你有更高的把控度；缺陷在于仅提供基础核心组件，缺失一些高级的特性。（如果你仅仅需要一个消息引擎系统亦或是简单的流处理应用场景，同时需要对系统有较大把控度，那么我推荐你使用 Apache Kafka）

Confluent Kafka ：Confluent 公司提供的 Kafka。优势在于集成了很多高级特性且由 Kafka 原班人马打造，质量上有保证；缺陷在于相关文档资料不全，普及率较低，没有太多可供参考的范例。（如果你需要用到 Kafka 的一些高级特性，那么推荐你使用 Confluent Kafka。）

CDH/HDP Kafka：大数据云公司提供的 Kafka，内嵌 Apache Kafka。优势在于操作简单，节省运维成本；缺陷在于把控度低，演进速度较慢。（如果你需要快速地搭建消息引擎系统，或者你需要搭建的是多框架构成的数据平台且 Kafka 只是其中一个组件，那么我推荐你使用这些大数据云公司提供的 Kafka）

### 5、Kafka的基本概念： ###

![format_png 4][]

### 6、Kafka的基本结构： ###

![format_png 5][]

### 7、Kafka的集群结构： ###

![format_png 6][]

### 8、kafka的应用场景(用户注册/异步)： ###

![format_png 7][]

### 9、kafka队列模式---点对点： ###

![format_png 8][]

### 10、kafka队列模式---发布/订阅： ###

![format_png 9][]

### 11、kafka构成角色： ###

#### 1、broker： ####

消息格式: 主题 - 分区 - 消息 、主题下的每条消息只会保存在某一个分区中，而不会在多个分区中被保存多份

这样设计的原因是：不使用多topic做负载均衡，意义在于对业务屏蔽该逻辑。业务只需要对topic进行发送，指定负载均衡策略即可 同时 topic分区是实现负载均衡以及高吞吐量的关键

Topic的创建流程

![format_png 10][]

#### 2、Producer： ####

发送消息流程

[format_png]: https://img-blog.csdnimg.cn/img_convert/6f0e5d29efc2851fb9ca565f7377fcfc.webp?x-oss-process=image/format,png
[format_png 1]: https://img-blog.csdnimg.cn/img_convert/ba6fe2c5e2d4d4b2a6058e9a66d601ce.webp?x-oss-process=image/format,png
[format_png 2]: https://img-blog.csdnimg.cn/img_convert/4034f927620ec8cf55ddf8b092be9e21.webp?x-oss-process=image/format,png
[format_png 3]: https://img-blog.csdnimg.cn/img_convert/8bf851589e4a5ef558ebcf4e2c7ce3af.webp?x-oss-process=image/format,png
[format_png 4]: https://img-blog.csdnimg.cn/img_convert/602e3df7857ff916945b116b35061c0b.webp?x-oss-process=image/format,png
[format_png 5]: https://img-blog.csdnimg.cn/img_convert/72a60b9fd9f9d902500bfc9abd3f4d6a.webp?x-oss-process=image/format,png
[format_png 6]: https://img-blog.csdnimg.cn/img_convert/8278a15e1a1c429acea4e248abff466e.webp?x-oss-process=image/format,png
[format_png 7]: https://img-blog.csdnimg.cn/img_convert/b1eb5a9c20fb8540b19ca9e02370d267.webp?x-oss-process=image/format,png
[format_png 8]: https://img-blog.csdnimg.cn/img_convert/ad01bc031f988400120deb35293fc350.webp?x-oss-process=image/format,png
[format_png 9]: https://img-blog.csdnimg.cn/img_convert/f045ea2f6466b516738ed92a96f9bcd6.webp?x-oss-process=image/format,png
[format_png 10]: https://img-blog.csdnimg.cn/img_convert/d9037122bba42b263038f39a991a5953.webp?x-oss-process=image/format,png