vertica-复杂sql导致crc校验错误

我会带着你远行 2022-08-22 05:57 153阅读 0赞

sql如下

create table tmp.Web\_Rel\_WebVIDUserID\_All

(

select nextval('tmp.tmp\_lvjian\_seq')          as EID,

e.UserID,

e.WebVID,

min(e.CalDate)                                                as FirstDate,

max(e.CalDate)                                                as LastDate,

min(e.FVisitTime)                                     as FVisitTime,

max(e.LVisitTime)                                         as LVisitTime,

Count(Distinct(e.IP))                                         as IPNum,

Count(Distinct(e.LogURL))                              as LogUrlNum,

Count(Distinct(e.LogURL || e.LogUrlParam))                    as LogUrlParamNum,

Count(Distinct(e.LogDomainNo))                             as LogDomainNoNum,

Count(Distinct(e.ReferURL))                                   as ReferUrlNum,

Count(Distinct(e.ReferURL || e.ReferUrlParam))                   as ReferUrlParamNum,

Count(Distinct(e.ReferDomainNo))                          as ReferDomainNoNum,

Sum(e.PVNum)                                         as PVNum,

Sum(e.PVNum \* e.IsLoginVisit)                                   as LoginPVNum,

SysDate()                         as EUTime

from tmp.Web\_Tmp\_UrlDetail e

where e.UserID is not null

and e.UserID <> '1'

group by e.UserID,

e.WebVID

);

报错如下

![Center][]

我们先检查一下CRC，两种方法检查

第一：

当数据库是down状态的时候

[dbadmin@bd][dbadmin_bd]:/data1/EmBig/v\_embig\_node0001\_catalog$/opt/vertica/bin/vertica -D /data1/EmBig/v\_embig\_node0001\_catalog -v

于是在，/data1/EmBig/v\_embig\_node0001\_catalog路径下，会生成，indextool.log日志，这个日志记录了操作的输出信息

第二：

当数据库是开启状态时

dbadmin=> select run\_index\_tool ('checkcrc', 'true');

run\_index\_tool

\-----------------

Index tool run.

(1 row)

他的写入信息将会记录在，当前节点的 vertica.log里面

这里模拟数据库是开启状态

当有CRC错误时候，vertica.log会记录以下信息

这里我截取其中4各部分 查看

1，

2016-05-19 03:53:20.948 EEcmdq:0x7f5064a8b650 <LOG> @v\_embigdata3\_node0013: 00000/2940: CRC Check Failure Details:

File Name: /data1/EmBigData3/v\_embigdata3\_node0013\_data/611/99079191814645611/99079191814645611\_0.fdb

File Offset: 7129520078

Compressed size in file: 16035

Memory Address of Read Buffer: (nil)

Pointer to Compressed Data: 0x7f4cef8a2929

2，

2016-05-19 04:42:19.470 EEcmdq:0x7f50656ee590 <LOG> @v\_embigdata3\_node0013: 00000/2940: CRC Check Failure Details:

File Name: /data1/EmBigData3/v\_embigdata3\_node0013\_data/611/99079191814645611/99079191814645611\_0.fdb

File Offset: 7129520078

Compressed size in file: 16035

Memory Address of Read Buffer: (nil)

Pointer to Compressed Data: 0x7f4aa36a4309

3，

2016-05-19 11:55:03.169 nameless:0x7f4d30e68420 \[EE\] <INFO> Data corruption found when running index tool thread on oid 99079191814645611 projection Web\_Tmp\_UrlDetail\_b1:

CRC Check Failure Details:

File Name: /data1/EmBigData3/v\_embigdata3\_node0013\_data/611/99079191814645611/99079191814645611\_0.fdb

File Offset: 7129520078

Compressed size in file: 16035

Memory Address of Read Buffer: 0x7f5c36afe000

Pointer to Compressed Data: 0x7f5c36b967ce

4，

2016-05-19 11:57:48.190 nameless:0x7f4d30e68420 \[EE\] <INFO> Data corruption found when running index tool thread on oid 99079191814645643 projection  Web\_Tmp\_UrlDetail\_b1:

CRC Check Failure Details:

File Name: /data1/EmBigData3/v\_embigdata3\_node0013\_data/643/99079191814645643/99079191814645643\_0.fdb

File Offset: 1043064623

Compressed size in file: 8202

Memory Address of Read Buffer: 0x7f5c36afe000

Pointer to Compressed Data: 0x7f5c36b5c72f

查看系统表分析

select \* from storage\_containers where node\_name='v\_embigdata3\_node0013' and projection\_name='Web\_Tmp\_UrlDetail\_b1'

node\_name               schema\_name    projection\_id                 projection\_name    storage\_type    storage\_oid

v\_embigdata3\_node0013    tmp    108086391069294108    Web\_Tmp\_UrlDetail\_b1    ROS    99079191814645559

v\_embigdata3\_node0013    tmp    108086391069294108    Web\_Tmp\_UrlDetail\_b1    ROS    99079191814645839

发现报错ros\_container和系统表记录的不一致