如何保证消息只被消费一次

末蓝、 2024-02-19 08:04 48阅读 0赞

##  ##

**目录**

前言

一、什么是幂等？

二、在生产过程中增加消息幂等性的保证

三、在消费过程中增加消息幂等性的保证

--------------------

## 前言 ##

`消息一旦被重复消费，就会造成业务逻辑处理的错误。那么我们要如何避免消息的重复呢？`

`想要完全的避免消息重复的发生是很难做到的，因为网络的抖动、机器的宕机和处理的异常都是比较难以避免的，在工业上并没有成熟的方法，因此我们会把要求放宽，只要保证即使消费到了重复的消息，从消费的最终结果来看和只消费一次是等同的就好了，也就是保证在消息的生产和消费的过程是“幂等”的。`

--------------------

## **一、****什么是幂等****？** ##

幂等是一个数学上的概念，它的含义是多次执行同一个操作和执行一次操作，最终得到的结果是相同的。

如果我们消费一条消息的时候，要给现有的库存数量减 1，那么如果消费两条相同的消息就会给库存数量减 2，这就不是幂等的。而如果消费一条消息后，处理逻辑是将库存的数量设置为 0，或者是如果当前库存数量是 10 时则减 1，这样在消费多条消息时，所得到的结果就是相同的，这就是幂等的。

## 二、在生产过程中增加消息幂等性的保证 ##

###  ###

在消息生产过程中，在 Kafka0.11 版本和 Pulsar 中都支持“producer idempotency”的特性，翻译过来就是生产过程的幂等性，这种特性保证消息虽然可能在生产端产生重复，但是最终在消息队列存储时只会存储一份。

它的做法是给每一个生产者一个唯一的 Producer ID，每个新的生产者在被初始化的时候产生。并且为生产的每一条消息赋予一个唯一 Sequence Number，Sequence Number：对于每个PID发送的每条消息的《topic，partition》都对应一个从0开始递增的序列号。在Broker端保存了这个序列号，对于接受到的消息如果缓存的序列号不小于该条消息中的序列号那么这条消息将会被丢弃。  
这样只可以保证同一个生产者对于同一个topic下的同一个分区发送的消息是不会重复的。消息队列的服务端会存储 < 生产者 ID，最后一条消息 ID> 的映射。当某一个生产者产生新的消息时，消息队列服务端会比对消息 ID 是否与存储的最后一条 ID 一致，如果一致，就认为是重复的消息，服务端会自动丢弃。

![24d02439b2314b138f513a32c9ed3ba3.png][]

## 三、在消费过程中增加消息幂等性的保证 ##

而在消费端，幂等性的保证会稍微复杂一些，你可以从通用层和业务层两个层面来考虑。在通用层面，你可以在消息被生产的时候，使用发号器给它生成一个全局唯一的消息 ID，消息被处理之后，把这个 ID 存储在数据库中，在处理下一条消息之前，先从数据库里面查询这个全局 ID 是否被消费过，如果被消费过就放弃消费。

你可以看到，无论是生产端的幂等性保证方式，还是消费端通用的幂等性保证方式，它们的共同特点都是为每一个消息生成一个唯一的 ID，然后在使用这个消息的时候，先比对这个ID 是否已经存在，如果存在，则认为消息已经被使用过。所以这种方式是一种标准的实现幂等的方式，你在项目之中可以拿来直接使用，它在逻辑上的伪代码就像下面这样：

boolean isIDExisted = selectByID(ID); // 判断 ID 是否存在
         if(isIDExisted) {  
            return; // 存在则直接返回
         } else {  
            process(message); // 不存在，则处理消息
             saveID(ID); // 存储 ID  
        }

不过这样会有一个问题：如果消息在处理之后，还没有来得及写入数据库，消费者宕机了重启之后发现数据库中并没有这条消息，还是会重复执行两次消费逻辑，这时你就需要引入事务机制，保证消息处理和写入数据库必须同时成功或者同时失败，但是这样消息处理的成本就更高了，所以，如果对于消息重复没有特别严格的要求，可以直接使用这种通用的方案，而不考虑引入事务。

在业务层面怎么处理呢？这里有很多种处理方式，其中有一种是增加乐观锁的方式。比如，你的消息处理程序需要给一个人的账号加钱，那么你可以通过乐观锁的方式来解决。具体的操作方式是这样的：你给每个人的账号数据中增加一个版本号的字段，在生产消息时先查询这个账户的版本号，并且将版本号连同消息一起发送给消息队列。消费端在拿到消息和版本号后，在执行更新账户金额 SQL 的时候带上版本号，类似于执行：

update user set amount = amount + 20, version=version+1 where userId=1 
    and version=1

你看，我们在更新数据时给数据加了乐观锁，这样在消费第一条消息时，version 值为 1，SQL 可以执行成功，并且同时把 version 值改为了 2；在执行第二条相同的消息时，由于version 值不再是 1，所以这条 SQL 不能执行成功，也就保证了消息的幂等性。

[24d02439b2314b138f513a32c9ed3ba3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/19/be70070c5fad4ce8a204f6e3b3b22f9c.png