如何避免mysql库中存入数据时出现重复的问题

淩亂°似流年 2022-02-09 12:17 463阅读 0赞

首先我们在创建表时，需要设置一个字段为唯一索引，也就是说该字段不可重复，首先我们都知道数据库中的id不可重复，但是如

果我们将id设置为唯一索引的话，id不会重复，但是无法保证id = 6对应的整条数据 和id =66 的整条数据不重复，也就是说我们需要

设置表中的数据内容字段作为唯一索引，我们需要确保该字段不会重复，比如说学生的学号，个人的身份证号码，还有我们爬取的

网页链接，一般不可重复。那么我们就以爬取的网页链接为唯一索引来举例说明：

首先我们建立如下所示数据库及表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70][]

我们需要将link作为唯一索引，设置如下（首先确保表中没有重复的link数据，最好直接清空表来进行设置，否则会提示你无法建立唯一索引）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 1][]

然后需要在python建立连接插入数据库的sql语句的后面加上下面一段话：

on DUPLICATE KEY UPDATE （后面是对应的字段）title=values(title),p\_time=values(p\_time),content=values(content),cla=values(cla),ori=values(ori),c\_time=values(c\_time)

原句是： sql='insert into test(title,link,p\_time,content,cla,ori,c\_time)values (%s,%s,%s,%s,%s,%s,%s)

加入后的语句是： sql='insert into test(title,link,p\_time,content,cla,ori,c\_time)values (%s,%s,%s,%s,%s,%s,%s)on DUPLICATE KEY UPDATE title=values(title),p\_time=values(p\_time),content=values(content),cla=values(cla),ori=values(ori),c\_time=values(c\_time)'

sql='insert into test(title,link,p_time,content,cla,ori,c_time)values (%s,%s,%s,%s,%s,%s,%s)on DUPLICATE KEY UPDATE title=values(title),p_time=values(p_time),content=values(content),cla=values(cla),ori=values(ori),c_time=values(c_time)'

以上准备工作做完后，就可以开始插入数据了，这种方法设置的保存方式将不会有同样的网址出现，假如说一开始由一个网址存入倒数据之后，如果之后有一样的网址数据再存进来，会直接覆盖原有数据进行存储。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70]: /images/20220206/511db341bed74689b847b35a4d16f7c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDIzOTU0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220206/ef6f0f3bc68f421cbb5bf55f6d859bd3.png