mysql去重查询的三种方法

电玩女神 2024-03-26 15:31 37阅读 0赞

#### 文章目录 ####

*  前言
 *  一、插入测试数据
 *  二、剔除重复数据方法
 *   *  1.方法一：使用distinct
     *  2.方法二：使用group by
     *  3.方法三：使用开窗函数
 *  总结

--------------------

## 前言 ##

数据库生成环境中经常会遇到表中有重复的数据，或者进行关联过程中产生重复数据，下面介绍三种剔除重复数据的方法，请针对自己的应用场景选择使用。

## 一、插入测试数据 ##

下图测试数据中user\_name为lilei、zhaofeng的用户是重复数据。

![示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。][pandas _NumPy]

## 二、剔除重复数据方法 ##

### 1.方法一：使用distinct ###

> 代码如下（示例）：

select distinct user_name,email,address from t_user;

如下图，已将数据剔重，重复数据仅保留1条。  
![在这里插入图片描述][e5eb8277cf7145b29bd1d7015911953b.png]

### 2.方法二：使用group by ###

SELECT user_name,email,address 
    	FROM t_user 
    	GROUP BY user_name, email, address;

如下图，已将数据剔重，重复数据仅保留1条。

![在这里插入图片描述][16652336a6164957b65dfd75d49ffe7d.png]

### 3.方法三：使用开窗函数 ###

（1）如果你的数据库是MySQL8以上版本你可以直接使用开窗函数row\_number()

SELECT *
    FROM(
        SELECT t.*, 
               ROW_NUMBER() OVER(PARTITION BY user_name
               ORDER BY last_login DESC) rn
        FROM table AS t
    	) AS t_user
    WHERE rn = 1;

（2）如果你的数据库版本低于MySQL8，使用类row\_number()方法

select user_name, email, address 
    from (
    	select 
    		b.*,
    		@rownum := @rownum+1 ,-- 定义用户变量@rownum来记录数据的行号
    		if(@pdept=b.user_name,@rank:=@rank+1,@rank:=1) as rank,-- 如果当前分组user_name和上一次分组user_name相同，则@rank（对每一组的数据进行编号）值加1，否则表示为新的分组，从1开始
    		@pdept:=b.user_name -- 定义变量@pdept用来保存上一次的分组id
    	from (select * from t_user) b ,
    		(select @rownum :=0 , @pdept := null ,@rank:=0) c  -- 初始化自定义变量值
    	order by b.user_name,b.last_login desc -- 该排序必须，否则结果会不对
    ) result
    where rank = 1;

如下图，已将数据剔重，重复数据仅保留1条。  
![在这里插入图片描述][24f0133202ac4a57be59c3532d4d07e4.png]

## 总结 ##

word文档下载地址：[mysql去重查询的三种方法][mysql]

[pandas _NumPy]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/ee522c4e40644794a4586cdb9bea9760.png
[e5eb8277cf7145b29bd1d7015911953b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/baec8e6962ee4f63a677862e73725822.png
[16652336a6164957b65dfd75d49ffe7d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/037cfa0c6f364980af3223cbdd1246d7.png
[24f0133202ac4a57be59c3532d4d07e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/32f9d304ca554b1db331809f72c9d998.png
[mysql]: https://download.csdn.net/download/ma286388309/87472766