数据探索之数据质量分析

迈不过友情╰ 2022-05-29 00:06 442阅读 0赞

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的修正或者丢弃。一般情况下，数据的质量分析与数据清洗是相伴而行的，在分析出脏数据的时候伴随着数据的清洗。

常见的脏数据包括如下：

### 1.缺失值 ###

##### 缺失值产生的一般由如下原因造成： #####

(1) 有些信息无法获取；

(2) 有些信息出现遗漏；

(3) 属性值不存在，有些情况下，缺失值并不意味着数据有错误。对一些对象来说某些属性值是不存在的，比如未结婚的配偶姓名。

##### 缺失值的影响： #####

(1) 数据挖掘建模将丢失大量有用数据；

(2) 数据挖掘模型所表现出来的不确定性更加显著，模型中蕴含的规律更难把我；

(3) 包含空值的数据会使得建模过程陷入混乱，导致不可靠的输出。

##### 如何发现缺失值 #####

那如何发现缺失值呢？pandas可以帮助我们轻松的完成任务。pandas使用浮点值NaN(Not a Number)表示浮点和非浮点数组中的缺失值，如下所示：

![20180313150143837][]

另外，Python内置的None值也会被当做NA处理：

![2018031315032139][]

### 2.异常值 ###

异常值是指数据是否有录入错误以及含有不合理的数据，这些是通常是样本中的个别值，其数值明显偏离其余的观测值，异常值也称之为离群点，异常值的分析也称为离群点分析。

常用的异常值分析方法如下：

(1) 简单统计量分析

对数据进行描述下统计，进而查看哪些数据是不合理的。最常用的统计量是最大值和最小值，用来判断这个变量的取值是否超出了合理的范围。例如客户年龄最大值为200岁，则改数据存在异常。

pandas拥有一组常用的数学和统计方法可以实现简单的计量分析。

(2) 3σ原则

(3) 箱型图分析

### 3.不一致的值 ###

数据不一致是指数据的矛盾性、不相容性。直接对不一致的数据进行挖掘，可能会产生与实际相悖的挖掘结果。

不一致的数据产生主要发生在数据集成过程中，这可能是由于被挖掘的数据是来自不同的数据源、对于重复性存放的数据未能进行一致性更新造成。例如，两张表中都存储了用户的电话号码，但在用户的号码发生改变时只更新了一张表中的数据，那么两张表中就有了不一致的数据。

4.重复数据以及含有特殊符号的数据（如\#、￥、$、\*等）的数据

[20180313150143837]: /images/20220529/f897d08a9d674cb6a84c683e3c080ede.png
[2018031315032139]: /images/20220529/d8d177fce3aa47ae923e4c160c86bcba.png

发表评论取消回复

表情：

评论列表（有 0 条评论，442人围观）

还没有评论，来说两句吧...

相关阅读

相关数据仓库之数据质量监控

文章目录 ==数据质量的理解== ==数据质量维度== ==问题反馈流程== ==数据

我就是我/ 2022年11月29日 13:17/ 0 赞/ 199 阅读

相关爱奇艺数据质量监控的探索和实践

本文主要介绍数据治理平台中的规则引擎模块，包括当前规则引擎面临的问题、目标、异常检测的方法以及对后续规则引擎功能的探索。 01 问题和目标：为什么要进行数据质量监控？

Dear 丶/ 2022年09月15日 12:36/ 0 赞/ 166 阅读

相关大数据知识体系_探索数据_数据汇总_可视化_多维数据分析

探索数据汇总统计频率和众数分类属性的众数是具有最高频率的值百分位数位置度量：均值和中位数

落日映苍穹つ/ 2022年06月04日 01:55/ 0 赞/ 110 阅读

相关数据探索之数据质量分析

数据质量分析的主要任务是检查原始数据中是否存在脏数据，脏数据一般指的是不符合要求，以及不能直接进行相应分析的数据。数据的质量分析侧重于脏数据的发现，而数据清洗则是对这些脏数据的

迈不过友情╰/ 2022年05月29日 00:06/ 0 赞/ 443 阅读

相关数据探索

通过检验数据集的数据质量，绘制图表，计算某些特征量等手段，对样本的数据集的结构和规律性进行分析的过程就是数据探索。数据探索有助于选择合适的数据预处理和建模方法，甚至可以

旧城等待，/ 2022年05月21日 03:35/ 0 赞/ 227 阅读

相关数据分析之数据质量分析

数据分析的前提就是数据的质量，一个好的数据质量才是数据分析可靠性的必要保障。今天就来讨论一下数据质量的分析：数据质量分析的主要任务就是检查数据中是否存在脏数据，脏数据一般是

朱雀/ 2022年04月16日 07:07/ 0 赞/ 488 阅读

相关机器学习实战——数据探索之数据泄露(Data Leakage)

1、什么是数据泄露数据科学的中的数据泄露（Data Leakage）和其他场合涉及信息安全的数据泄漏不一样，是指一些feature不是在因果关系上顺利释预测值的‘因’，

清疚/ 2022年04月04日 17:47/ 0 赞/ 659 阅读

相关 Python数据挖掘过程之数据探索

数据探索根据观测、调查收集到初步的样本数据集后，接下来要考虑的问题是：样本数据集的数量和质量是否满足模型构建的要求？是否出现从未设想过的数据状态？其中有没有什么

约定不等于承诺〃/ 2022年02月17日 01:11/ 0 赞/ 262 阅读

相关数据分析之常用数据

理论铺垫集中趋势：均值、中位数与分位数、众数均值用于衡量连续值，分布较为规律连续值中位数用于存在异常值较大或较小的数据众数主要用于离散值集中趋势衡量分位数从

不念不忘少年蓝@/ 2022年01月27日 15:11/ 0 赞/ 327 阅读

相关 Datawhale -数据挖掘 - task 1 : 数据探索与分析

前言要求：数据切分方式 - 三七分，其中测试集30%，训练集70%，随机种子设置为2018 任务1：对数据进行探索和分析。时间：2天数据类型的分析无关特征删

客官°小女子只卖身不卖艺/ 2021年11月09日 00:36/ 0 赞/ 324 阅读