数据库检测数据一致性时的哈希值不一致的原因

末蓝、 2023-10-04 17:46 7阅读 0赞

### 检测数据一致性时的哈希值不一致的原因 ###

#### 内容目录 ####

*   *  检测数据一致性时的哈希值不一致的原因
     *   *  一、问题介绍
         *  二、哈希值不同的原因有什么
         *  三、问题排查
         *  四、日常小技巧

今天在做一个数据需求的时候，大概要把几张有字段重复的数据表，并且是同一粒度的，合并到一张表里

逻辑处理结束之后，在做数据一致性检验的时候，checksum的结果有些出入

#### 一、问题介绍 ####

总共有28个字段，checksum的哈希结果26个都是一样的，但是却有两个不一样，这个结果就很奇怪，如果说有一些重复数据造成了数据增长，那么行数是怎么一样的呢？如果逻辑有问题，那么为什么只有两个字段有问题呢？

首先了解哈希值是什么，哈希值就是对于一个输入的变量，进行一些逻辑的算法操作，得出一个数值，这个数值可以一定程度上代表这个变量的为唯一性，当然也会存在哈希碰撞的情况。

#### 二、哈希值不同的原因有什么 ####

1.首先就是变量值不一样，如果变量值不一样，那么毫无疑问，多数情况下的哈希值也是不一样的，当然排除哈希碰撞的情况

2.如果对于一个数值类型不一致的，虽然看似字面大小是一样的，那么哈希值也是不一样的。比如“1”和1的哈希值是不一样的

#### 三、问题排查 ####

先看一下checksum的部分结果：  
![在这里插入图片描述][767b7e82efa6408590ae57d277ce837a.png]

可以看出标黄的两个字段的哈希结果是不一致的，因为只有两个字段不一样，所以初步可以判断得出两个表的建表语句中应该是字段类型或者某些地方进行了一些逻辑操作

查看建表语句：

show create table;

查看了两个建表语句之后，发现了确实是字段类型不一样啊，一个是string类型，一个是bigint类型。

看一下这两个类型的哈希有什么变化

select hash(1)
    union all
    select hash("1")

![在这里插入图片描述][014fc257782d418d9f3d0b3d57b67a48.png]

#### 四、日常小技巧 ####

除此之外，哈希值并不是数值越大就代表的数字越多或者字符越多，比如：

select hash("数据库")

![在这里插入图片描述][eb7c7ab6666b4c07bd84a25d9671ff97.png]

select hash("大数据之路");

![在这里插入图片描述][3098c0715d404ab8940d7377f7f1344a.png]

但是可以基本的从一个大概的记过评估一下数据的变化情况，因为在处理的过程中，即便哈希值的checksum有些出入，只要你逻辑不是乱写的，就不会出现不可控的情况出现。

当发现数值普遍都要大一点的时候，就可以初步认为是在关联查询的时候数据发生了增加的情况，比如：  
![在这里插入图片描述][2a9dd73c6c4d4233b68db351eeb9b87d.png]

你就可以去review你得代码，看看哪些会有一些重复数据的出现，去重或者怎么处理一下。

tips：一般在join的时候考虑到一对多的关系，可以根据一些数据时间、数据触发者等关联起来作为i连接条件。

[767b7e82efa6408590ae57d277ce837a.png]: https://img-blog.csdnimg.cn/767b7e82efa6408590ae57d277ce837a.png
[014fc257782d418d9f3d0b3d57b67a48.png]: https://img-blog.csdnimg.cn/014fc257782d418d9f3d0b3d57b67a48.png
[eb7c7ab6666b4c07bd84a25d9671ff97.png]: https://img-blog.csdnimg.cn/eb7c7ab6666b4c07bd84a25d9671ff97.png
[3098c0715d404ab8940d7377f7f1344a.png]: https://img-blog.csdnimg.cn/3098c0715d404ab8940d7377f7f1344a.png
[2a9dd73c6c4d4233b68db351eeb9b87d.png]: https://img-blog.csdnimg.cn/2a9dd73c6c4d4233b68db351eeb9b87d.png