Cause: java.sql.SQLIntegrityConstraintViolationException: Duplicate entry ‘xxx‘ for key ‘xxx‘错误的解决方法

我不是女神ヾ 2023-09-25 18:58 4阅读 0赞

#### 文章目录 ####

*  1. 复现错误
 *  2. 分析错误
 *  3. 解决错误
 *  4. 文末总结

## 1. 复现错误 ##

今天写好`导入hive表`的接口，如下代码所示：

/**
     * hive表导入
     *
     * @author super先生
     * @datetime 2023/3/20:16:32
     * @return
     */
    @ResponseBody
    @PostMapping(value = "/xxx/importTables")
    public ServiceStatusData localHiveImportTables(
        @RequestBody ImportHiveTableDto importTablesDto, @RequestHeader("x-userid") Long userId) {
        
      logger.info("入参记录：importTablesBo={},userId={}", importTablesDto, userId);
      if (isBlank(importTablesDto.getHiveDatabaseName())) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "hive库名不能为空", null);
      }
      if (isBlank(importTablesDto.getHiveTableName())) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "hive表名不能为空", null);
      }
      String tableImportType = importTablesDto.getTableImportType();
      if (isBlank(tableImportType)) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "导表类型不能为空", null);
      }
      if (null == TableImportTypeEnum.getJsonObjectByCode(tableImportType)) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "不支持当前的导表类型", null);
      }
      String decimationFrequency = importTablesDto.getDecimationFrequency();
      if (isBlank(decimationFrequency)) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "抽取频率不能为空", null);
      }
      if (null == DecimationFrequencyEnum.getJsonObjectByCode(decimationFrequency)) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "不支持当前的抽取频率", null);
      }
      importTablesDto.setCron(DecimationFrequencyEnum.toCron(decimationFrequency));
      if (null == importTablesDto.getDatasetId()) {
        
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "工作表id不能为空", null);
      }
      return hiveImportTaskService.localHiveImportTables(importTablesDto, userId);
    }

启动`postman`访问该接口，确报出如下错误：

![在这里插入图片描述][1488a5745bde4c589f8abf8f38bd6791.png]

错误信息比较多，我们就截取如上重要的信息：`java.sql.SQLIntegrityConstraintViolationException: Duplicate entry 'missionMockId-\x01' for key 'idx_misstion_id_deleted'`。

## 2. 分析错误 ##

根据`java.sql.SQLIntegrityConstraintViolationException`异常信息可知，这是由`sql`报出的错误，也就是说我的数据表存在异常。

具体是什么异常，我们继续往下分析。

正赶上最近`ChatGPT`比较火，可以借助它帮助我分析错误，如下图所示：

![在这里插入图片描述][1caefdc5e56049ebb4ed4b1e4d635e9a.png]

`ChatGPT`说我尝试添加一个与现有记录重复的值，建议我查看重复记录的相关信息。

于是，查看`mybatis`打印出的`SQL`语句，如下图所示：

![在这里插入图片描述][a909d7c94939417289bc5256c8db09f3.png]

执行上述`mybatis`打印出的`SQL`语句，如下代码所示：

UPDATE 
    	hive_import_task 
    SET 
    	deleted = 1 ,
    	update_time = NOW() 
    where 
    	deleted = 0 and dataset_id = 2
    
    ERROR 1062 (23000): Duplicate entry 'missionMockId-\x01' for key 'idx_misstion_id_deleted'

再次分析`Duplicate entry 'missionMockId-\x01' for key 'idx_misstion_id_deleted'`错误信息，从中可以得到`idx_misstion_id_deleted`键值。

**`idx_misstion_id_deleted`是我创建的`联合唯一索引`，关联的字段为`mission_id`和`deleted`，不能有重复的记录。**

比如只能存在一条`mission_id = 'missionMockId' and deleted = 1`的记录，但可以存在 `mission_id = 'missionMockId' and 'deleted = 0'`的记录。

根据`update`语句中的`where`条件，使用`select`查询，如下图所示：

![在这里插入图片描述][705d762382574623b943d7ad8903b9b1.png]

因而，已经存在一条`deleted = 1`记录了，当我再把`deleted = 0`的记录更新为`deleted = 1`，就已经重复了，才会报出上述的错误。

总结，由于我设置了`联合唯一索引(idx_misstion_id_deleted`)，因而更新数据时会造成两条重复的数据。

## 3. 解决错误 ##

既然我更新的数据命中了联合唯一索引，导致了该错误，那么，便可进行如下修改。

1.  使用如下命令删除索引

ALTER TABLE `hive_import_task` DROP INDEX `idx_misstion_id_deleted`;

1.  在`HiveImportTaskService`类的`localHiveImportTables`方法中做如下代码的限制

public ServiceStatusData localHiveImportTables(ImportHiveTableDto importTablesDto, Long userId) {
        
     ...
      // 判断是否抽取过
      HiveImportTask byDatasetId = hiveImportTaskMapper.queryByDatasetId(datasetId);
      if (null != byDatasetId) {
        
        JSONObject body = new JSONObject();
        body.put("isTaskExist", true);
        return new ServiceStatusData(ServiceStatusData.Status.Fail, "抽取失败：当前任务已存在", body);
      }
      ...
      return new ServiceStatusData(ServiceStatusData.Status.Success, "抽取结束", null);
    }

1.  `HiveImportTaskMapper.java`增加`queryByDatasetId`方法的代码：

/**
     * 根据datasetId查询
     *
     * @param datasetId
     * @return
     */
    HiveImportTask queryByDatasetId(@Param("datasetId") Long datasetId);

1.  在`hiveImportTaskMapper.xml`中添加如下代码：

<select id="queryByDatasetId" parameterType="java.lang.Long"
            resultType="com.xxx.HiveImportTask">
        <include refid="selectCommon"/>
        AND dataset_id = #{datasetId}
        ORDER BY
        create_time DESC
        LIMIT 1
    </select>
    
    <sql id="selectCommon">
    	SELECT
    		id AS id,
    		mission_id AS missionId,
    		dataset_id AS datasetId,
    		request_config AS requestConfig,
    		mission_state AS missionState,
    		user_id AS userId,
    		create_time AS createTime,
    		update_time AS updateTime,
    		deleted,
    		import_result AS importResult
    	FROM
    		hive_import_task
    	WHERE
    		deleted = 0
    </sql>

## 4. 文末总结 ##

通过对`java.sql.SQLIntegrityConstraintViolationException: Duplicate entry 'missionMockId-\x01' for key 'idx_misstion_id_deleted'`错误的分析，得知这是更新数据违反了数据库的唯一约束条件，也就是说违反了`唯一索引`或`联合唯一索引`。

一般报出`java.sql.SQLIntegrityConstraintViolationException: Duplicate entry ‘xxx‘ for key ‘xxx‘`这样的错误，其实就是违反了数据库的唯一约束条件！也就是插入数据或添加数据时，具有唯一约束条件的列值重复了。

如果报出这种错误，可有如下两种解决方法：

1.  取消唯一性约束的列；
2.  保证插入的数据或更新的数据，与表中已有的数据不重复！

[1488a5745bde4c589f8abf8f38bd6791.png]: https://img-blog.csdnimg.cn/1488a5745bde4c589f8abf8f38bd6791.png
[1caefdc5e56049ebb4ed4b1e4d635e9a.png]: https://img-blog.csdnimg.cn/1caefdc5e56049ebb4ed4b1e4d635e9a.png
[a909d7c94939417289bc5256c8db09f3.png]: https://img-blog.csdnimg.cn/a909d7c94939417289bc5256c8db09f3.png
[705d762382574623b943d7ad8903b9b1.png]: https://img-blog.csdnimg.cn/705d762382574623b943d7ad8903b9b1.png