数据挖掘（3）特征化

港控/mmm° 2024-04-17 13:33 47阅读 0赞

![ef0deaa0a7024f0b862e7ad859effb36.png][]

> 从数据分析角度，DM分为两类，描述式数据挖掘，预测式数据挖掘。描述式数据挖掘是以简介概要的方式描述数据，并提供数据的一般性质。预测式数据挖掘分析数据建立模型并试图预测新数据集的行为。
> 
> DM的分类：
> 
>  *  描述式DM：以简洁、概要的方式描述数据、提供数据的有趣的一般性质。
>     
>      *  用以产生数据的特征化和比较描述：
>         
>          *  特征化：提供给定数据集的简洁汇总(一个数据集)。
>          *  比较(区分)：提供两个或多个数据集的比较描述，其中一个为主数据集，其他数据集与其进行对比分析。
>  *  预测式DM：分析数据，**建立模型**，试图预测新数据集的行为。

## 一、数据概化与基于汇总的特征化 ##

### 1. 数据概化 ###

> 1.  以**更一般的(而不是较低的)** 抽象层描述数据。
> 2.  将大量的相关数据从一个较低的概念层次转化到一个比较高的层次。
>     
>      *  例如：把location维度上将地区概化为城市，甚至是省份
> 3.  方法
>     
>      *  数据立方体(或OLAP)方法
>      *  面向属性的归纳方法

![e18d092552f44e61a8b0c334950abe6d.png][]

### 2. 数据立方体(OLAP)方法 ###

1.  在数据立方体上进行计算和存储结果
2.  优点：
    
    1.  数据概化的一种有效实现。
    2.  能计算多种不同的度量值。(count、ave、sum、min、max)
    3.  概化与特征分析通过一系列的**数据立方体**操作完成，上钻、下钻操作。![1edb7af837e04ab6996e711bd860fcef.png][]
3.  限制：  
    \* 只能为 **非数值类型**(离散的)维产生的概念分层。  
    \* 非数值类型：名义型、序数型(属于离散化的属性)。  
    \* **缺乏智能分析**，不能自动确定分析中该使用哪些维，概化到哪个层次。

### 3. 面向属性归纳(AOI)(重点) ###

1.  前提：**有大量不同的取值**
2.  **可处理连续性数据，比数据立方体更加智能**
3.  基本思想：
    
    1.  首先使用DB 收集任务相关的数据。
    2.  对**每个属性**的不同值的个数进行概化(**属性删除、属性概化**)。
    3.  基本思想：
        
        1.  首先使用DB 收集任务相关的数据。
        2.  对**每个属性**的不同值的个数进行概化(**属性删除、属性概化**)。
    4.  属性删除(**重点**)
        
        1.  一个属性有许多不同数值：且
            
             *  该属性没有定义概化操作符(没有概念分层)。
                
                 *  一个属性拥有许多不同的数值，却没有定义对他的泛化操作。
             *  或较高层概念可以用其他属性表示。
                
                 *  eg：出生日期：birth\_date:1995-1-1,出生日期是年龄的更高层次，可以将其表现，所以可以将birth\_date删除。
    5.  属性概化(重点)
        
        1.  若一个属性有许多不同数值，且：在该属性上**存在概化操作符(有概念分层)**，则应当选择该概化操作符，并逐层进行概化。
        2.  概化操作符：层次性，比如birth\_day:年月日。

### 4.特征化(面向属性归纳) ###

两种方法：

1.  属性概化阈值控制：(控制属性取值个数)
    
     *  取值范围：\[2-8\]
     *  **属性的不同值个数**大于属性概化阈值，则应当删除或概化。
     *  概化层次太高，可加大阈值(属性下钻);反之，减小阈值(属性上卷)。
2.  概化关系阈值控制：(控制最后的广义元组数量)
    
     *  控制最后关系、规则的大小。(最后生成广义元组)
     *  设置阈值:\[10-30\]
     *  概化关系中**不同元组的个数**超过**属性概化阈值**，则概化。
     *  概化关系太少，可加大阈值(属性下钻);反之，减小阈值(属性上卷)。
     *  概化到最高层(最底层)也不满足，则需要将其删除。
3.  ![d2e7d01d79fd42b485c179a7ace953f3.png][]

![c0c84d114a7d4f4b9272718b6c231bdd.png][]

### 5.例子分析 ###

![c2003366faad411b8be2935f7c88ab1a.png][]

![3ba0c50025584631bec9f37ae5cce89e.png][] ![bfe9db30c44c4655b95c11643f851020.png][]

## 二、属性相关分析(重点) ##

> 1.  在处理数据中，包含很多与挖掘任务不相关或弱相关的属性，引入属性相关分析。
> 2.  如果某个属性可以很好**区分该类与其他类**，则该属性是任务高度相关的。
> 3.  在处理数据中，包含很多与挖掘任务不相关或弱相关的属性，引入属性相关分析。
> 4.  如果某个属性可以很好**区分该类与其他类**，则该属性是任务高度相关的。

### 1. 属性相关分析法基本思想 ###

1.  基本思想：给定的数据集，计算某种度量，用于量化属性与给定的类或概念间的相关性。
2.  常用的度量:信息增益、相关系数、GINI索引、不确定性

### 2.信息增益法(重点) ###

1.  信息增益法：
    
    1.  决策树归纳学习算法(ID3,C4.5)，删除信息量较少的属性，保留信息量较大的属性。
2.  **ID3算法**
    
    1.  **熵**概念为启发函数。
        
         *  ![5766e3ddd194427c84d6ed00fc6f8b56.png][]
         *  熵越大、携带的信息量越大、越不容易被预测
    2.  选择具有**最大信息增益**的属性作为当前划分节点。
    3.  基本原理:
        
         *  根据**类别已知**的训练数据集构造一颗决策树；根据决策树再对**类别未知的数据对象**进行分类。
         *  每一步选择都是选择最大信息增益。
    4.  决策树：每个节点的选择：选择信息增益最大的属性为当前节点。![22e2903121df4315a0b52f8d8be1a398.png][]![ceb7560884c843afa8ac46951ede5e38.png][]
    5.  本步骤只是求出不确定性![a7d8233f34744aeb9df56c7d952629bc.png][]![154d70425d8e43c2913d5525aa9bea3a.png][]

3. 通过熵来进行选择

![3b2d0a7cbe924178bc505e5a76a25e8e.png][]

![e694beae569741fa9a030e4698c6d8e4.png][]

![9e046c3541214c2a9304557be0a0b644.png][]

4.属性相关分析步骤

1.  数据收集：建立目标数据集，以及对比数据集，目标数据集与对比数据集不相交。
2.  利用**保守的AOI方法**进行属性相关分析。对初始的数据集进行删除、概化等操作形成候选数据集。
3.  删除不相关、弱相关的属性。如信息增益度量
4.  使用AOI产生概念描述：利用更严格的属性概化控制阈值进行属性的归纳。
    
     *  任务是：概念描述，使用初始目标数据集。
     *  任务是：比较概念描述，使用初始目标数据集，对比数据集。

## 三、挖掘类比较：区分不同的类 ##

![29402442e41942c3b4185337667765de.png][]

![4003814ac2cc40adb5f0ef6b6564fed8.png][]

1.  比较概念中，同一个属性要概化到同一个层次。
2.  d—权
    
     *  qa所包含的Cj中数据行数与qa所涵盖的所有数据行数（包括目标数据集及所有对比数据集）之比![454e3431b1494181ba14c0024d8ff87d.png][]

## ![66e4cb2bb0d3418fa6420f3543933d40.png][] ##

## ![5e333719d61944629b927b2a67fa3663.png][]四、常见的统计度量指标 ##

![1519258caed244f298afb03d78a6b092.png][]

1.  中心趋势：均值、中位数、模(众数)
    
     *  众数：如果每个数值仅出现1次则无众数
2.  数据分布：四分位数、方差、标准差
    
     *  四分位数：
        
         *  数值下数据集合的第k个百分位数。
         *  中位数：第50个百分位数
         *  第一个四分位数![Q\_1][Q_1]第25个百分位数；第三个百分位数 ![Q\_3][Q_3]：第75个百分位数
         *  中间四分位区间![IQR=Q\_3-Q\_1][IQR_Q_3-Q_1]
         *  识别孤立点: ![x \\leq Q\_1-1.5IQR || x \\geq Q\_3 + 1.5IQR][x _leq Q_1-1.5IQR _ x _geq Q_3 _ 1.5IQR]![9e04fe6ea037495ab4dce34adb00f8d6.png][]![c4917b33cfb84e4f8ae60758c16d230a.png][]

[ef0deaa0a7024f0b862e7ad859effb36.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/da2363694b2e43b8a10689a3d3ed2f95.png
[e18d092552f44e61a8b0c334950abe6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/bd7aea1fda864867ada7742b2b51b750.png
[1edb7af837e04ab6996e711bd860fcef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/b02c5711328c443da05c342eb1931fc0.png
[d2e7d01d79fd42b485c179a7ace953f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/55b4a17f18c94f5fb01264fc63b056ce.png
[c0c84d114a7d4f4b9272718b6c231bdd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/53740e585013457e86666fd4e43a40c3.png
[c2003366faad411b8be2935f7c88ab1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/8e649364531f495b82245830a848134b.png
[3ba0c50025584631bec9f37ae5cce89e.png]: https://img-blog.csdnimg.cn/3ba0c50025584631bec9f37ae5cce89e.png
[bfe9db30c44c4655b95c11643f851020.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/77cf93f8d9f64514874086e7dea26a45.png
[5766e3ddd194427c84d6ed00fc6f8b56.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/24ad19419b24406cb91a3fbc271dfd46.png
[22e2903121df4315a0b52f8d8be1a398.png]: https://img-blog.csdnimg.cn/22e2903121df4315a0b52f8d8be1a398.png
[ceb7560884c843afa8ac46951ede5e38.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/da98a1d25821432aa0a00a75e0dcd093.png
[a7d8233f34744aeb9df56c7d952629bc.png]: https://img-blog.csdnimg.cn/a7d8233f34744aeb9df56c7d952629bc.png
[154d70425d8e43c2913d5525aa9bea3a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/f615915609194226baa28b4c57a1f1c0.png
[3b2d0a7cbe924178bc505e5a76a25e8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/44abba2f61d54fd584cba6d007abacfd.png
[e694beae569741fa9a030e4698c6d8e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/91de2af379ec49aba583fda452368511.png
[9e046c3541214c2a9304557be0a0b644.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/390532eae22b424ab121a34d9dabc0ba.png
[29402442e41942c3b4185337667765de.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/6a2dde4d31f4484bb12c863521cf6654.png
[4003814ac2cc40adb5f0ef6b6564fed8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/fb469bcb019d4125a0495287f996f5b0.png
[454e3431b1494181ba14c0024d8ff87d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/d91c8ed04a8542b6979dbcff04cf328f.png
[66e4cb2bb0d3418fa6420f3543933d40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/f53063c80435460d9f70eebc8c3f8006.png
[5e333719d61944629b927b2a67fa3663.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/c8e7b9222aae40ac8f1782e5b0a23f30.png
[1519258caed244f298afb03d78a6b092.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/b897e7115d7b412d9c726ae24fc87085.png
[Q_1]: https://latex.csdn.net/eq?Q_1
[Q_3]: https://latex.csdn.net/eq?Q_3
[IQR_Q_3-Q_1]: https://latex.csdn.net/eq?IQR%3DQ_3-Q_1
[x _leq Q_1-1.5IQR _ x _geq Q_3 _ 1.5IQR]: https://latex.csdn.net/eq?x%20%5Cleq%20Q_1-1.5IQR%20%7C%7C%20x%20%5Cgeq%20Q_3%20&plus;%201.5IQR
[9e04fe6ea037495ab4dce34adb00f8d6.png]: https://img-blog.csdnimg.cn/9e04fe6ea037495ab4dce34adb00f8d6.png
[c4917b33cfb84e4f8ae60758c16d230a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/64f4661dc0bb44d2a72f0a02b71798a3.png