Kafka理论概述和应用场景

Bertha 。 2022-05-18 09:47 188阅读 0赞

### 1.Kafka概述 ###

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。简单地说，Kafka就相比是一个邮箱，生产者是发送邮件的人，消费者是接收邮件的人，Kafka就是用来存东西的，只不过它提供了一些处理邮件的机制。

![70][]                     ![70 1][]

### 2.Kafka相关名词分析 ###

*  **Broker**：Kafka节点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群
 *  **Topic**：一类消息，消息存放的目录即主题，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发
 *  **massage**： Kafka中最基本的传递对象。
 *  **Partition**：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列
 *  **Segment**：partition物理上由多个segment组成，每个Segment存着message信息
 *  **Producer** : 生产者，生产message发送到topic
 *  **Consumer** : 消费者，订阅topic并消费message, consumer作为一个线程来消费
 *  **Consumer Group**：消费者组，一个Consumer Group包含多个consumer
 *  **Offset**：偏移量，理解为消息partition中的索引即可

下面做进一步说明：

**broker**即kafka程序，kafka程序运行于zookeeper之上，zookeeper是一个分布式的，分布式应用程序的协调服务，其提供的功能包括：配置维护、域名服务、分布式同步、组服务等。在此处，zookeeper协调kafka节点的配置、同步操作等。

**topic**即主题，kafka中发布消息、订阅消息的对象是topic。我们可以为每类数据创建一个topic。一个topic中的消息数据按照多个partition组织，分区是kafka消息队列组织的最小单位(并不是物理上的最小单位)，一个分区可以看作是一个FIFO（ First Input First Output的缩写，先进先出队列）的队列。如下图：

![70 2][]                      ![70 3][]

例如，在上图中，一个topic被分成了3个分区（即partition0~2），用户发布message时，可以指定message所处topic的partition，如果没有指定，则随机分布到该topic的partition。发布的消息（其实是逻辑日志）将在partition尾部插入。

**segment**是partition的物理存储单元，kafka收到message后，会向对应partition的最后一个segment上添加该消息，当某个segment上的消息条数达到配置值或消息发布时间超过阈值时，segment上的消息会被保存到磁盘，只有被保存到磁盘上的消息consumer才能消费，segment达到一定的大小后将不会再往该segment写数据，kafka会创建新的segment。其实，每个partition相当于分配到多个大小相等segment数据文件中。但每个segment消息数量不一定相等，这种特性方便无用的segment快速被删除，segment文件生命周期由服务端配置参数决定。如下图：

![70 4][]

**consumer和consumer group**，一个consumer group包含多个consumer,用户可以指定consumer的group。各个consumer可以组成一个group，partition中的每个message只能被一个group中的一个consumer消费，如果一个message想要被多个consumer消费的话，那么这些consumer必须在不同的group。kafka不支持一个partition中的message同时由两个或两个以上的consumer thread来处理，即便是来自不同的consumer group的也不行。kafka为了保证吞吐量，只允许一个consumer去访问一个partition。如果觉得效率不高，可以加partition的数量来横向扩展，再加新的consumer去消费，充分发挥了横向的扩展性，吞吐量极高。这也就形成了分布式消费的概念。如下图：

![70 5][]

上图中有两个服务器的kafka群集，它们有四个分区（P0-P3），其中有两个group。group A有两个消费者，group B有四个消费者。P0如果被C1消费后，则C2不能再消费，但是group B的C3或者其它的一个可以消费P0。

### 3.Kafka的优势 ###

*  高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒
 *  可扩展性：kafka集群支持热扩展
 *  持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
 *  容错性：允许集群中节点故障（若副本数量为n,则允许n-1个节点故障）
 *  高并发：支持数千个客户端同时读写

### 4.Kafka应用场景 ###

*  日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer
 *  消息系统：解耦生产者和消费者、缓存消息等
 *  用户活动跟踪：kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后消费者通过订阅这些topic来做实时的监控分析，亦可保存到数据库
 *  运营指标：kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告
 *  流式处理：比如spark streaming和storm；

[70]: https://img-blog.csdn.net/20180802105033185?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 1]: /images/20220518/2c200b31e5ac47b9832640b45527da8b.png
[70 2]: https://img-blog.csdn.net/20180802111159997?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDc1NDI1/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[70 3]: /images/20220518/05b7bb737c3e405bb6ca16d0edd7d61c.png
[70 4]: /images/20220518/8566884d64b345f0b9c202fd67f533d9.png
[70 5]: /images/20220518/bcb7895a52194cf4a7f27b4ac9726a28.png