分布式消息系统：Kafka（八）一些问题

约定不等于承诺〃 2022-05-14 03:21 86阅读 0赞

# 8、问题 #

## ８.1 Zookeeper的作用，没有Zookeeper的情况下使用Kafka？ ##

Zookeeper是一个开放源码、高性能的协调服务。一旦Zookeeper停止工作，它就不能服务客户端的请求。

*  Zookeeper主要用于在集群中不同节点之间进行通信
 *  在Kafka中，它被用于提交偏移量，因此如果节点在任何情况下都失败了，它都可以从之前提交的偏移量中获取
 *  除此之外，它还执行其他活动，如: leader检测、分布式同步、配置管理、识别新节点何时离开或连接、集群、节点实时状态等等。

## 8.2 在数据制作过程中，你如何能从Kafka得到准确的信息? ##

在数据中，为了精确地获得Kafka的消息，你必须遵循两件事: **在数据消耗期间避免重复，在数据生产过程中避免重复**。

这里有两种方法，可以在数据生成时准确地获得一个语义:

*  每个分区使用一个**单独的写入器**，每当你发现一个网络错误，检查该分区中的最后一条消息，以查看您的最后一次写入是否成功
 *  在消息中包含一个**主键(UUID或其他)**，并在用户中进行反复制

## 8.3 在kafka中为什么几乎不允许对消息进行“随机读写” ##

原因：每条消息在文件中的位置称为offset（偏移量），offset为一个long型数字。kafka并没有提供其他额外的索引机制来存储offset。

kafka和JMS（Java Message Service）实现(activeMQ)不同的是:即使消息被消费,消息仍然不会被立即删除。日志文件将会根据broker中的配置要求,保留一定的时间之后删除;比如log文件保留2天,那么两天后,文件会被清除,无论其中的消息是否被消费.kafka通过这种简单的手段,来释放磁盘空间,以及减少消息消费之后对文件内容改动的磁盘IO开支.

对于consumer而言,它需要保存消费消息的offset,对于offset的保存和使用,有consumer来控制;当consumer正常消费消息时,offset将会”线性”的向前驱动,即消息将依次顺序被消费.**事实上consumer可以使用任意顺序消费消息,它只需要将offset重置为任意值。**

partitions的设计目的有多个.**最根本原因是kafka基于文件存储.**通过分区,可以将日志内容分散到多个server上,来避免文件尺寸达到单机磁盘的上限,每个partiton都会被当前server(kafka实例)保存;可以将一个topic切分多任意多个partitions,来消息保存/消费的效率.此外越多的partitions意味着可以容纳更多的consumer,有效提升并发消费的能力.