【总结】在项目中如何保证服务的幂等？

桃扇骨 2022-02-04 16:23 195阅读 0赞

> 目录
> 
> 1. 为什么要解决数据重复插入？
> 
> 2. 解决方案实战
> 
> 3. 可落地小总结

## 一、为什么要解决数据重复插入？ ##

问题起源：当前端发起多次重复请求给服务器提交数据。

后端服务也很简单，伪代码如下：

public class SignLogService {
    
    	public void saveSignLog(SignLogDO log) {
    		// 简单插入做记录
    		SignLogDAO.insert(log);
    	}
    }

发现数据库会存在重复数据行，提交时间一模一样，但业务需求是不能有多余的 log 出现，这明显是个问题。

问题是：重复请求导致的数据重复插入。这问题造成的后果很明显：

*  数据冗余，可能不单单多一条
 *  有些业务需求不能有多余数据，造成服务问题

问题如图所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70][]

解决方式：如何将 同请求 A，不执行插入，而是读取前一个请求插入的数据并返回。

解决后流程应该如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 1][]

## 二、解决方案实战 ##

### 1、单库单表解决方案 ###

*  唯一索引 + 唯一字段
 *  幂等

上面说的那种业务场景：signlog 表会有 userid、signid、signtime 等，那么每次签到，每个人每天只有一条签到记录。

数据库层采取唯一索引的形式，保证数据记录唯一性，即 UNIQUE 约束，UNIQUE 约束唯一标识数据库表中的每条记录。

另外，userid,signid,sign\_time 三个组合适唯一字段。

创表的伪代码如下：

CREATE TABLE sign_log(
        id int NOT NULL, 
        user_id int NOT NULL, 
        sign_id int, sign_time int, 
        CONSTRAINT unique_sign_log UNIQUE(user_id, sign_id, sign_time)
    )

重点是 CONSTRAINT unique\_sign\_log UNIQUE(user\_id,sign\_id,sign\_time)。

有个小问题，数据量大的时候，每条记录都会有对应的唯一索引，比较耗资源。

那么这样就行了吗？

答案是不行，服务不够健壮。

第一个请求插入成功，第二个请求直接报错，Java 服务会抛出 DuplicateKeyException 。

简单的幂等写法操作即可，伪代码如下：

public class SignLogService {
    
    	public SingLogDO saveSignLog(SignLogDO log) {
    		// 幂等处理
    		SignLogDO insertLog = null;
    		try {
    			insertLog = signLogDAO.insert(log);
    		} catch (DuplicateKeyException e) { 
    			insertLog = selectByUniqueKeys(userId, signId, signTime);
    		}
    		return insertLog;
    	}
    }

的确，流量不是很大，也不算很高并发，重复写问题，这样处理即可。

那真正的大流量、高并发场景下，该如何解决？

### 2、分库分表解决方案 ###

流量大了后，单库单表会演变成分库分表。那么基于单表的唯一索引形式，在碰到分表就无法保证呢，插入的地方可能是两个分表 A1 和 A2。

解决思路：将数据的唯一性条件放到其他存储，并进行锁控制

还是上面的例子，每天，每次签到，每个人只有一条签到记录，那么使用分布式锁 Redis 的解决方案。

大致伪代码如下：

**a.加锁**

// 加锁
    jedis.set(lockKey, requestId, "NX", "PX", expireTime);

*  lockKey 最简单的是 userid + signid + sign\_time
 *  expireTime 设置为一天

**b.解锁**

// 解锁
    jedis.eval(script, lockKey, requestId);

**c.幂等代码加强**

public class SignLogService {
    
    	public SingLogDO saveSignLog ( SignLogDO log ) {
    
    		// 幂等校验
    		SignLogDO existLog  = selectByUniqueKeys (userId,signId,signTime);
    		if(Objects.nonNull(existLog)){
    			return existLog;
    		}
    		
    		// 加锁
    		jedis.set
    		
    		SignLogDO insertLog = signLogDAO.insert(log);
    		        
    		// 解锁
    		jedis.eval
    		        
    		return insertLog;
    	}
    }

这个方案供大家参考下。

## 三、可落地小总结 ##

解决方案实战中，了解具体术。归纳如下：

*  幂等：保证多次同一请求后结果一致
 *  并发控制：单表唯一索引、分布式多表分布式锁
 *  降级兜底方案：分布式锁锁失效 – 考虑乐观锁兜底

### 参考资料 ###

*  重复插入方案： http://www.bysocket.com/archives/2266
 *  《阿里巴巴 Java 开发手册》

### 其他幂等策略，汇总资料 ###

*  [【总结】高并发-幂等实现方案][-]：[https://blog.csdn.net/hemin1003/article/details/82882873][-]
 *  [幂等策略介绍][Link 1]：[https://blog.csdn.net/hemin1003/article/details/72834265][Link 1]

\------------------------------------------------------

[关于我][Link 2]（个人域名）

[我的开源项目集Github][Github]

期望和大家一起学习，共同进步，共勉，O(∩\_∩)O谢谢

欢迎交流问题，可加个人QQ 469580884，

或者，加我的群号 **751925591**，一起探讨交流问题

不讲虚的，只做实干家

Talk is cheap，show me the code

![20180411181545874][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70]: /images/20220204/be3489e7627d43bf8a5a30fea84eb5d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbWluMTAwMw_size_16_color_FFFFFF_t_70 1]: /images/20220204/c7a6afcf3d4547a1af2930c35a20dc2d.png
[-]: https://blog.csdn.net/hemin1003/article/details/82882873
[Link 1]: https://blog.csdn.net/hemin1003/article/details/72834265
[Link 2]: http://heminit.com/about/
[Github]: https://github.com/hemin1003
[20180411181545874]: /images/20220204/804a0ed8d1124578a2130ff4d3295d54.png