一例数据同步异常问题分析

桃扇骨 2021-12-17 14:07 145阅读 0赞

## 【问题描述】 ##

开发反馈，有一个SQL Server数据同步的作业，从Table1 拉取数据，主键是ID, 每次拉取批次数据的SQL语句是 select top (15) \* from Table1(NOLOCK) where ID > ?，？代表的是上次同步批次中最后一个ID号。  
某一次拉取到的数据为 ID： 8101102121，8101103081 两条数据。查表发现，这两条记录中间，还有一条记录，即ID=8101102855，这条记录没有被拉取到。十分困惑，为什么会少拉一条记录，是否拉取的时候，该条记录没有被创建？

<table> 
 <thead> 
  <tr> 
   <th>Createtime</th> 
   <th>ID</th> 
   <th>Column3</th> 
   <th>Column4</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>  2019-04-11 14:17:14.843  </td> 
   <td>  8101102121  </td> 
   <td>     </td> 
   <td>  已处理</td> 
  </tr> 
  <tr> 
   <td>  2019-04-11 14:17:17.190  </td> 
   <td>  8101102855  </td> 
   <td>    </td> 
   <td>  已处理</td> 
  </tr> 
  <tr> 
   <td>  2019-04-11 14:17:20.237  </td> 
   <td>  8101103081  </td> 
   <td>    </td> 
   <td>  已处理</td> 
  </tr> 
 </tbody> 
</table>

## 【问题分析】 ##

刚开始看这个问题，也觉得非常奇怪。这个查询语句中规中矩，从应用日志来看，两个ID之间的8101102855 确实是没有被拉取到。  
为进一步定位问题，我们分析具体的查询语句。由于我们的服务器开启了XEvent Trace，我们定位到，当时在数据库服务器端真正执行的语句如下，比开发反馈的更多一些条件：

select top 15 id from table1 with (nolock) where id > 8101101700 and Column4 not like '%(特殊需求)%' and createtime > '2018-07-19 00:00:00.000' order by id asc

我们用这个查询，在当前时间（2019-04-12 17:23:00）数据库上进行查询，确实能返回三条记录。

通过数据库明细记录， 该语句在数据库上的执行时间是：2019-04-11 14:17:21。对于ID=8101102855的记录，其插入的时间是2019-04-11 14:17:17.190，比我们的查询时间早4秒，按道理应该是能查出来的。另外，在2019-04-11 14:17:21的时候，ID=8101102855 的记录正在被更新。难道是我们的查询带了NOLOCK，所以当前正在被更新的记录跳过了？

根据我们的理解，NOLOCK相当于Read uncommitted, 是会读取其他事务“修改后未提交的“数据。也就是说，是能够读出主键ID的。

## 【问题重现】 ##

为了能够更好的分析问题，我们定点还原数据库，还原到2019-04-11 14:17:20的时候，也就是比应用的查询时间早1秒钟。其数据记录如下。在这个点上，ID=8101103081 还没有插入进来，但ID=8101102855，也就是我们关注的ID，数据已经进来了。

针对上面的数据，我们执行查询：

select top 15 id from table1 with (nolock) where id > 8101101700 and Column4 not like '%(特殊需求)%' and createtime > '2018-07-19 00:00:00.000' order by id asc

奇怪的发现，这个查询只返回ID=8101102121，ID=8101102855没有返回。经过简单的调试，我们很快发现，是由于这个查询条件所致：

Column4 not like '%(特殊需求)%'

ID=8101102855记录在刚插入的时候，其Column4的值为NULL，从语义上来讲，确实是不包含"(特殊需求)"这个字符串的。但在SQL处理上，却和我们理解的不一样。

SQL除了IS NULL和NOT NULL以外，只要出现NULL，值结果为FALSE。简单来说，对于查询SELECT \* from table where name != ‘test’，只要name值是NULL，无论用name=’test’还是name != 'test', 都不能返回这一行。如果要返回的话，需要加IS NULL判断：

SELECT * from table where name != ‘test’ or name IS NULL

至此，问题真相大白，解决方案也就很简单：调整查询语句，加一个IS NULL判断即可。

select top 15 id from table1 with (nolock) where id > 8101101700 and (Column4 not like '%(特殊需求)%' or Column4 IS NULL) and createtime > '2018-07-19 00:00:00.000' order by id asc

## 【结论】 ##

数据库在碰到NULL的处理时候，要小心，查询的判断条件并不是很明显，要注意IS NULL的情况。

转载于:https://www.cnblogs.com/CtripDBA/p/10755110.html