数据挖掘（2）数据预处理

迈不过友情╰ 2024-04-17 13:32 10阅读 0赞

## 一、数据预处理 ##

### 1.1概述 ###

1.  **数据预处理的重要性**
    
    > 1.  杂乱性：如命名规则。
    > 2.  重复性：同一客观事再
    > 3.  不完整性：
    > 4.  噪声数据：数据中存在错误或异常的现象。
2.  数据预处理的常见方法
    
    > 1.  数据清洗：去掉数据中的噪声，纠正不一致。
    > 2.  数据集成：将多个数据源合成一致的数据存储
    > 3.  数据变换（转换）：对数据的格式进行转换，如数据的归一化处理。
    > 4.  数据归约（消减）：通过聚集、删除冗余属性、局类等方法，来实现数据的压缩。![4da0d4df33af4d0dab894177b39ccb8f.png][]

### 1.2数据清洗 ###

#### 1.空缺值 ####

1.  忽略该元组：
    
     *  其中一条记录中有属性值被遗漏
     *  缺少类标号
     *  但是，当某一类属性的空缺值占百分比很大，若直接忽略，则会使挖掘性能变得非常差。
        
         *  eg：Y:N=1:1，忽略后会变成Y:N=3:1
         *  人工填写空缺值
         *  使用属性的平均值来填充空缺值
         *  使用与给定元组属同一类的平均值来代替
         *  使用一个全局变量填充空缺值(不推荐)
         *  使用最可能的值填充空缺值
            
             *  回归、贝叶斯、判定树归纳确定

#### 2.**噪声数据的处理** ####

![059e796ed585446fad3c829b7e775cc4.png][]

1.  ##### **分箱方法(重点)** #####

> 分箱的步骤：
> 
> 1.  先排 序排序，将其分到等深(等宽)的箱中
> 2.  按箱的平 均 值(在出现极端数据的情况下，不能用均值处理)、中 值、边界(用左右边界进行替换)进行平滑
> 
> **等深分箱(分块)**
> 
> 按记录数进行分箱，每箱具有相同的记录数，每箱的记录数称为箱的权重，也称箱子的深度。
> 
> ![027a8e90aa0248c19300b3b5722e3d13.png][]
> 
> **等宽分箱**
> 
> 在整个属性值的区间上平均分布，即每个箱的区间范围设定为一一个常量，称为箱子的宽度。![0ef118c0fe9d48219cb8d439fcd7dfcd.png][]

##### 聚类方法 #####

1.  相似、向邻近的数据集合在一起形成各个聚类集合。
2.  特点：直接形成一簇，不需要先验知识。
3.  查找孤立点，消除噪声

##### 线性回归 #####

1.  通过回归方程获得拟合函数

##### 人机结合共同检测 #####

#### 3.不一致数据 ####

1.  人工更正
2.  利用知识工程工具
    
     *  属性之间的函数依赖关系
3.  数据字典

### 1.3数据集成和变换 ###

> 1.  数据集成：将来自多个数据源的数据合并到一起
> 2.  数据变换：对数据进行规范化操作，将其转换成适合于数据挖掘的形式。

##### 1.数据集成 #####

1.  需要统一原始数据中的所有矛盾之处
    
     *  同名异义、异名同义、单位不不统一、字长不一致。
2.  需要注意的问题：
    
     *  模式匹配
        
         *  整合不同数据源中的元数据。
         *  进行实 体 识 别
         *  借助于数据字典、元数据
     *  数据冗余
        
         *  计算相关分析检测： ![r\_\{a,b\}=\\frac\{\\sum(A-\\overline\{A\})(B-\\overline\{B\})\}\{(n-1)\\sigma\_A\\sigma\_B\}][r_a_b_frac_sum_A-_overline_A_B-_overline_B_n-1_sigma_A_sigma_B]
         *  若有高的相关系数，则可以去除掉。
     *  数据值冲突
        
         *  产生原因：表示、比例、编码不同
         *  比如：单位不统一、成绩的百分之和五分值。

##### 2.数据变换(重点) #####

常用方法：

1.  平滑处理：消除噪声
    
     *  分箱
2.  聚集操作：对数据进行综合
    
     *  函数：avg(),count(),min(),max()…
     *  数据规范化：将数据转换到一个较小的范围内，两个数据相差比较大。
     *  最小-最大规范化
        
         *  将原始属性映射到区间\[new\_min,new\_max\]
         *  公式：![v'=\\frac\{v-min\_A\}\{max\_A-min\_A\}(new\\\_max\_A-new\\\_min\_A)+new\\\_min\_A][v_frac_v-min_A_max_A-min_A_new_max_A-new_min_A_new_min_A]![628d91947b5f41f1ba91e8ae92dd6742.png][]
     *  z-score规范化
        
         *  根据均值、标准差进行计算
         *  常用于：最大值、最小值未知
         *  不保证取值区间一致,但新的取值满足01分布
         *  ![v'=\\frac\{v-avg\_A\}\{standard\\\_dev\_A\}][v_frac_v-avg_A_standard_dev_A]![f1e9d639de2441888839bb5a92820574.png][]
     *  小数定标规范化![519f957e9d4f47eb9b7d5afbfd8ac507.png][]

![50552d95ff1a4eee9233e3ed3887b061.png][]

### 1.4数据规约 ###

##### 1. 数据规约的标准： #####

1.  时间：原始数据集挖掘时间：t，数据规约时间：t0，挖掘后时间t’,满足: t\_0+t'≤t
2.  性能：归约后得到的数据比原数据小的多，并可以产生相同或差不多的结果。

##### 2. 策略： #####

1.  数据立方体聚集：![115707b2ef244837b14c1c1b49364898.png][]![4ddc40ea3e67456aa9a6368bfe8ed49d.png][]
2.  维 归 约 ( 重 点 ) 
    
    1.   主要检测并删除不相关、弱相关或冗余的属性维
    2.  .方法：属性子集选择
        
        1.  目标：寻找出最小的属性子集，并确保新数据子集的概率分布尽可能接近原来的数据集的概率分布。
        2.  启发式算法找出"好的’子集
            
            1.  逐步向前选择：选择原属性集中最好的属性，并将它添加到该集合中。
            2.  逐步向后删除：由整个属性集开始，每一步都删除现在属性集中最坏的属性。
            3.  向前选择和向后删除结合：每一步选择一个最好的属性，并在剩余属性中删除一个最坏的属性。
            4.  判定树归纳：出现在判定树中的属性形成规约后的属性子集。

![b685a749e3d742978b295dfcdaf56077.png][]

### 1.5数据离散化(重点) ###

##### 1.三种类型的属性值 #####

1.  标称型(名称、名义)：数值来自于无序集合，不需要离散化，如性别、地名、人名。
    
     *  不可比、不可加
2.  序数型：来自于有序集合，不需要离散化，如等级
    
     *  可比、不可加
3.  连续型：实数值，需要离散化，如温度、体重、考试成绩。
    
     *  可比、可加

##### 2.离散化技术 #####

> 1.  分箱
> 2.  基于熵的离散化
> 3.  通过自然划分分段![7819170c00b945b08bc0f1810decdcf1.png][]![61a5ec9185fc40f4852e94fe3e0b36ef.png][]
> 4.  聚类（不推荐）

![02d33e35f1174f78afda3f8dc8ba872c.png][]

[4da0d4df33af4d0dab894177b39ccb8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/9e4df400da0b4f329076d54d6a6133be.png
[059e796ed585446fad3c829b7e775cc4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/b3c25e6b67de4ec09fcd1a9e7c1192b2.png
[027a8e90aa0248c19300b3b5722e3d13.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/7d875f35cb0b44ccb2f58a970e59383e.png
[0ef118c0fe9d48219cb8d439fcd7dfcd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/6cfcbf36e05f43ffa4ae0d8ec2edf428.png
[r_a_b_frac_sum_A-_overline_A_B-_overline_B_n-1_sigma_A_sigma_B]: https://latex.csdn.net/eq?r_%7Ba%2Cb%7D%3D%5Cfrac%7B%5Csum%28A-%5Coverline%7BA%7D%29%28B-%5Coverline%7BB%7D%29%7D%7B%28n-1%29%5Csigma_A%5Csigma_B%7D
[v_frac_v-min_A_max_A-min_A_new_max_A-new_min_A_new_min_A]: https://latex.csdn.net/eq?v%27%3D%5Cfrac%7Bv-min_A%7D%7Bmax_A-min_A%7D%28new%5C_max_A-new%5C_min_A%29&plus;new%5C_min_A
[628d91947b5f41f1ba91e8ae92dd6742.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/3ed6ca18b0ff468c9dbce2fa673de1b9.png
[v_frac_v-avg_A_standard_dev_A]: https://latex.csdn.net/eq?v%27%3D%5Cfrac%7Bv-avg_A%7D%7Bstandard%5C_dev_A%7D
[f1e9d639de2441888839bb5a92820574.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/0c81402a9af347ac873a8b3deb1d0537.png
[519f957e9d4f47eb9b7d5afbfd8ac507.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/4507dc1a314c49f19e6ed5a519347932.png
[50552d95ff1a4eee9233e3ed3887b061.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/1a85e7e62e244b598b61b22a64c03e9d.png
[115707b2ef244837b14c1c1b49364898.png]: https://img-blog.csdnimg.cn/115707b2ef244837b14c1c1b49364898.png
[4ddc40ea3e67456aa9a6368bfe8ed49d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/f77eea8c94fb4f61a654d4694df83dbb.png
[b685a749e3d742978b295dfcdaf56077.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/297bee2d41b94beca9d7c6f99a52294d.png
[7819170c00b945b08bc0f1810decdcf1.png]: https://img-blog.csdnimg.cn/7819170c00b945b08bc0f1810decdcf1.png
[61a5ec9185fc40f4852e94fe3e0b36ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/56cc3ed445224918841855d2c1a3c47a.png
[02d33e35f1174f78afda3f8dc8ba872c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/402bbbdcd4ce4438ae65bda759e66766.png