MYSQL删除上亿条的大量数据的具体实现

╰+哭是因爲堅強的太久メ 2024-02-18 22:09 16阅读 0赞

ourmysql博客中提供了 《[大表删除数据的思路][Link 1]》,对于大表依据主键删除的思路是必须的，删除几千万的数据还算是比较简单的，如果你的数据库中的表高达数百亿条记录 ，删除其中的几十亿，就需要考虑可用性的问题了。上述文中的 利用生成的文本方式有些不妥。

方法是利用存储过程,游标，先根据条件获取要删除的主键，然后依据主键删除，考虑到删除50亿条记录耗费将近7天的时间(事后得出)，必须后台执行。使用python 工具写一个脚本，可以针对多个服务器进行并行操作。

1 在各个服务器上创建存过！

delimiter //

CREATE PROCEDURE \`proc\_del\_tab\`(in com\_num int , in push\_time datetime )

begin

declare curid bigint ;

DECLARE rowid bigint ;

declare no\_more\_departments int ;

declare curs cursor for

select id

from

tab

WHERE

v3 < push\_time ;

DECLARE CONTINUE HANDLER FOR NOT FOUND SET no\_more\_departments = 1;

SET no\_more\_departments=0;

set rowid = 1 ;

set autocommit = 0 ;

open curs ;

REPEAT

fetch curs into curid ;

delete from tab where id = curid ;

set rowid = rowid + 1 ;

if rowid % com\_num = 0

then

commit;

end if ;

UNTIL no\_more\_departments

END REPEAT;

commit ;

close curs ;

end;

delimiter ;

2 部署python 脚本：

\#!/usr/bin/env python

from MySQLdb import \*

import sys

import threading

import time

import os

def now() :

\#return str('2011-01-31 00:00:00')

return str( time.strftime( '%Y-%m-%d %H:%M:%S' , time.localtime() ) )

def log( strs , logs ) :

f = file( logs , 'a' , 0 )

f.write( now() + ' ' + str(strs) + '\\n' )

f.close()

def delining( cur , logs ) :

sql = "SET SQL\_LOG\_BIN=0"

try :

cur\['dsn'\].execute( sql )

except Exception , e :

log( 'Set SQL\_LOG\_BIN OFF' + str(e) , logs )

sql = "call proc\_del\_tab\_yang( 3000 , '%s' )" % ('2011-01-31 00:00:00')

log( 'starting process %s' % ( cur\['addr'\] ) , logs )

try :

cur\['dsn'\].execute( sql )

except Exception , e :

log( 'Execute Procedure ' + str(e) , logs )

sql = "SET SQL\_LOG\_BIN=1"

try :

cur\['dsn'\].execute( sql )

except Exception , e :

log( 'Set SQL\_LOG\_BIN ON' + str(e) , logs )

log( 'process %s End' % ( cur\['addr'\] ) , logs )

def main() :

logs = "/root/yangql/python/del\_test\_tab.log"

server\_list=\['10.250.7.110'\]

luser="yang"

lpasswd="yang"

con = \[\]

for addr in server\_list :

cons = None

try :

cons = connect( host = addr , user = luser , passwd = lpasswd , port = 3307 , db = 'newcloudapp' )

except Exception , e :

log( 'On Connect %s ' % ( addr ) + str(e) , logs )

continue

con.append( \{ 'dsn':cons , 'addr':addr \} )

cur = \[\]

for cons in con :

try :

cur.append( \{ 'dsn':cons\['dsn'\].cursor( cursorclass = cursors.DictCursor ) , 'addr':cons\['addr'\] \} )

except Exception , e :

log( 'On Cusros %s ' % ( cons\['addr'\] ) + str(e) , logs )

continue

thpool = \[\]

for curs in cur :

th = threading.Thread(target = delining ,args=( curs , logs ) )

thpool.append( th )

for th in thpool :

th.start()

for th in thpool :

threading.Thread.join( th )

while True :

if threading.activeCount() < 2 :

break

else :

time.sleep(1)

continue

for curs in cur :

try :

curs\['dsn'\].close()

except Exception , e :

log( 'On Close Cusros %s ' % ( curs\['addr'\] ) + str(e) , logs )

continue

for cons in con :

try :

cons\['dsn'\].close()

except Exception , e :

log( 'On Close Connect %s ' % ( str(e) ) , logs )

continue

if \_\_name\_\_ == '\_\_main\_\_' :

main()

[Link 1]: http://ourmysql.com/archives/767?f=wb

MYSQL删除上亿条的大量数据的具体实现

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关 MYSQL删除上亿条的大量数据的具体实现

相关 mysql几条相同的数据删除只留一条id最大的数据

相关 mysql 3亿条数据库_如何在mysql 造1亿条记录的大容量数据表？

相关 MySQL能够承受上亿万条的数据量的架构

相关删除大量文件的方法

相关 oracle 删除大量数据

相关 mysql 删除重复的数据只保留一条

相关 mysql保留一条并删除相同的数据

相关 Oracle删除大量数据的实践

相关对于上千万甚至上亿的数据，如何正确的删除？