数据转换--移除重复数据等

朴灿烈づ我的快乐病毒、 2022-03-30 09:58 168阅读 0赞

### 移除重复数据 ###

DataFrame中常常会出现重复行。 例如：

df1 = DataFrame({
        'k1':['one']*3 + ["two"]*4, "k2":[1, 1, 2, 3, 3, 4, 4]})

![981603-20170308142734422-93778965.png][]

### 判断重复行duplicated ###

DataFrame的duplicated方法返回一个布尔型Series， 表示各行是否是重复行：

df1 = DataFrame({
        'k1':['one']*3 + ["two"]*4, "k2":[1, 1, 2, 3, 3, 4, 4]})
    
    df2 = df1.duplicated() #duplicated("k2")
    print(df2)
    print(df1[df2])

![981603-20170308142759109-1569939845.png][]

还有个与此相关的drop\_duplicates方法， 它用于**返回一个移除了重复行的DataFrame**

![981603-20170308143218688-1950928006.png][]

也可以根据**指定部分列**进行重复项判断

![981603-20170308143758422-2060555592.png][]

![981603-20170308143853859-2008805964.png][]

**如果默认保留最后一个怎么办 take\_last = True**

df1 = DataFrame({
        'k1':['one']*3 + ["two"]*4, "k2":[1, 1, 2, 3, 3, 4, 4]})
    df1['v'] = range(7)
    print(df1)
    print(df1.drop_duplicates(['k1', 'v'], take_last=True))

[981603-20170308142734422-93778965.png]: /images/20220330/95a4446f51b94b4787e16e3e6e6fa59d.png
[981603-20170308142759109-1569939845.png]: /images/20220330/ec2c25a36edb4fb8be813c416f75432d.png
[981603-20170308143218688-1950928006.png]: /images/20220330/b3f8222eb8d248e2ba58e8bcfb4633f6.png
[981603-20170308143758422-2060555592.png]: /images/20220330/64217d0695df495e9a1f41b5f4bc2ba2.png
[981603-20170308143853859-2008805964.png]: /images/20220330/2878163373aa4a60ac28cad3893c7b7d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，168人围观）

还没有评论，来说两句吧...

相关阅读

相关 Open3D 移除重复点云数据详解

Open3D 移除重复点云数据详解在点云处理中，存在着一种情况就是采集到的点云里面会有一些重叠的点，这时候如果不对重叠的点进行去重处理，就会导致后续的点云算法出现问题，甚至

古城微笑少年丶/ 2024年03月24日 11:56/ 0 赞/ 44 阅读

相关 List集合数据移除(List.subList.clear)

List集合数据移除(List.subList.clear) 这两天遇到这么一个问题：一个集合的数据当作参数传入，现在`分段`使用这个集合的数据，使用完的数据需要在这个集

小鱼儿/ 2023年10月10日 11:41/ 0 赞/ 46 阅读

相关从数组中移除重复元素

从数组中移除重复元素 const removeDuplicateItems = arr => [...new Set(arr)]; remove

偏执的太偏执、/ 2023年10月09日 12:09/ 0 赞/ 27 阅读

相关 Mysql移除重复记录实战

前言这是一次`mysql移除重复记录`实战，想起来之前并没有share过，所以整理一下发上来大家参考。假设有`company`表： `company_nam

痛定思痛。/ 2022年12月21日 09:29/ 0 赞/ 158 阅读

相关移除集合中的重复元素

目录通过过传统的java 通过Guava 通过Java 8 Lambda表达式 -------------------- 通过过传统的java 使用Se

客官°小女子只卖身不卖艺/ 2022年11月27日 00:54/ 0 赞/ 182 阅读

相关面试题 02.01. 移除重复节点

[面试题 02.01. 移除重复节点][02.01.] [https://leetcode-cn.com/problems/remove-duplicate-node-lcc

朴灿烈づ我的快乐病毒、/ 2022年11月26日 01:51/ 0 赞/ 160 阅读

相关 elasticsearch 7.6 移除数据节点

os: centos 7.6 es: 7.6 上一篇 blog <<[elasticsearch 7.6 添加数据节点][elasticsearch 7.6]>>介绍了添

r囧r小猫/ 2022年09月03日 00:16/ 0 赞/ 215 阅读

相关 Activity数据恢复时移除Fragment数据

某些场景下（如内存不足），系统销毁 Activity 时会调用 onSaveInstanceState()，而 Fragment 也会在此方法中保存自身的状态。之后用户重新打开

- 日理万妓/ 2022年06月03日 02:47/ 0 赞/ 206 阅读

相关 ListView 移除为 null 的数据

package fly.test; import java.util.List; import java.util.ArrayList; imp

Love The Way You Lie/ 2022年05月17日 04:27/ 0 赞/ 143 阅读

相关数据转换--移除重复数据等

移除重复数据 DataFrame中常常会出现重复行。例如： df1 = DataFrame({ 'k1':['one']3 + ["two"]

朴灿烈づ我的快乐病毒、/ 2022年03月30日 09:58/ 0 赞/ 169 阅读