学习数学建模算法与应用【数据预处理】

秒速五厘米 2024-03-30 15:32 30阅读 0赞

首先。明确一点，大数据的题目都需要进行数据预处理，哪怕给出的数据已经没有异常点，已经很完整。

## 缺失值、异常值的检测和处理 ##

### 数据存在的问题 ###

*  **数据预处理**是数据挖掘中的重要一环，而且**必不可少**要更有效地挖掘出知识，就必须为其提供干净，准确，简洁的数据。
 *  现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。
 *  数据的不一致：各系统间的数据存在较大的不一致性。如属性重量的单位：A数据库重量单位kg，B数据库重量单位g。噪声数据：数据中存在着错误或异常（偏离期望值），如：血压和身高为0就是明显的错误。  
    ![在这里插入图片描述][fbd5bcdcb5ac40919928f3d8fc201d2f.png]  
    缺失值：  
    由于实际系统设计时存在的缺陷以及使用过程中的一些人为因素，数据记录可能会出现数据值的丢失或不确定。  
    ![在这里插入图片描述][8d1c83691adf4b13b72761080c758153.png]  
    ![在这里插入图片描述][1383f3c7cffa44db8c64ba8823fc377c.png]  
    数据预处理的任务  
    **数据清理(清洗)**  
    去掉数据中的噪声，纠正不一致。  
    **数据集成**  
    将多个数据源合并成一致的数据存储，构成一个完整的数据集，如数据仓库。例如：将同描述同一个公司的不同表格合并成一个表格。  
    **数据归约(消减)**  
    通过聚集、删除几余属性或聚类等方法来压缩数据  
    **数据变换(转换)**  
    将一种格式的数据转换为另一格式的数据(如规范化)  
    ![在这里插入图片描述][8d91b07696014f23a8b093fabdccb6d0.png]  
    ![在这里插入图片描述][9f167ccaf53b44b094350c3a67081482.png]

### 数据归一化 ###

数据标准化(归一化)处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，数值间的差别可能很大，不进行处理可能会影响到数据分析的结果，为了消除指标之间的量纲和大小不一的影响，需要进行数据标准化处理将数据按照比例进行缩放，使之落入一个据标准化处理，将数据按照比例进行缩放，使之落入一个特定的区域，从而进行综合分析。如将工资收入属性值映射到\[-1，1\]或者\[0，1\]之间  
![在这里插入图片描述][589206f3130741b8b07f8a713953c3d3.png]

### 数据清洗 ###

数据清洗主要是删除原始数据集中的无关数据、重复数据，平滑噪声数据，处理缺失值、异常值等。

### 缺失值处理 ###

处理缺失值的方法可分为三类: 删除记录、数据插补和不处理。其中常用的数据插补方法见下表。  
![在这里插入图片描述][7b49c99ed1af4acc8b3ec48ce6d88dba.png]  
![在这里插入图片描述][00573d21683645fdb16a7b8cc932e445.png]  
了解  
![在这里插入图片描述][c35f1c842ba141faacc21e3ae442dca2.png]  
![在这里插入图片描述][9a9567621cd449a99fb5c98bda893f33.png]  
![在这里插入图片描述][58340b38ba684e8182974089c1e826f3.png]  
![在这里插入图片描述][8201333b377a4c6aa739cc0c81cc1995.png]

### 异常值处理 ###

![在这里插入图片描述][8cc1b04b2fed4ae88bd8c21b96160b78.png]  
怎样判断异常值  
![在这里插入图片描述][09ccb662b8ba4ace860585218da93487.png]  
箱线图  
![在这里插入图片描述][3441332fb1db4195856876ad2888ac40.png]  
计算n维数据集中所有样本间的测量距离，如果样本S中至少有一部分数量为p的样本到S的距离比d大，那么样本S是数据集S中的一个噪声数据。  
![在这里插入图片描述][70a9454aaf5e48a6ace71b7defbdc746.png]  
![在这里插入图片描述][7c414258a554420aa67e8199471bb947.png]  
根据表中结果，  
可选择S1、S4、S6作为噪声数据。（因为它们的p值大于等于3）

## 特征工程 ##

**特征工程**就是从原始数据**提取特征**的过程，这些特征可以很好地描述数据并且利用特征建立的模型在未知数据上的性能表现可以达到最优(或者接近最佳性能)。特征工程一般包括特征使用、特征获取、特征处理、特征选择和特征监控。  
“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而己”  
特征工程的处理流程为首先**去掉无用特征**，接着**去除冗余的特征**，如共线特征，并利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征，然后**对特征进行转换**(数值化、类别转换、归一化等)，最后**对特征进行处理(异常值、最大值、最小值，缺失值等)， 以符合模型的使用。 简单来说，特征工程的处理一般包括数据预处理**、**特征处理**、**特征选择**等工作，*而特征选择视情况而定，如果特征数量较多，则可以进行特征选择等操作。*  
**数据预处理一定要做，特征选择可以不做**

### 特征选择 ###

国赛不一定能用到，了解即可  
![在这里插入图片描述][ceeff0df75764f15b5a1455cb278bad2.png]  
过滤法  
如果不同的属性之间有很强的相关性，保留极大无关组即可  
包装法  
主要运用在机器学习，深度学习方面  
![在这里插入图片描述][2917362e33484208a4efcc60a54d2d9c.png]  
x2,x3有明显的线性关系，此时可以删除一个。  
可以用PCA主成分分析法  
**主成分分析**又称**主分量分析**，由皮尔逊在1901年首次引入，后来由霍特林在1933年进行了发展。主成分分析是一种通过降维技术把\*\**多个变量化为少数几个主成分(即综合变量)**的多元统计方法，这些主成分能够反映原始变量的大部分信息，通过表示为原始变量的线性组合，为了使得这些主成分所包含的信息互不重叠，要求各**主成分之间互不相关*。主成分分析在很多领域都有广泛的应用一般来说，当研究的问题涉及多个变量，并且变量相关性明显，即包含的信息有所重叠时，可以考虑用主成分分析的方法，这样更容易抓住事物的主要矛盾，使问题简化。  
![在这里插入图片描述][f9cfe6fc94ca42c6b5f61b346239884a.png]  
二维用线可以表示，三维用面可以表示相关度。  
不同的点在线上投影，不能使大量的特征丢失  
![在这里插入图片描述][8ba26851c0d7404fa8940ad0d1a30cf3.png]  
![在这里插入图片描述][019e7bc26e9e4fc28b0a0e663dcb16ef.png]  
![在这里插入图片描述][6ba3d54aed2e40d082a02b8ab3b3088a.png]  
![在这里插入图片描述][ba99984198ca47c0a1efe50319b2b5fa.png]  
![在这里插入图片描述][1eb8ed1f246a42e988b83754b63910dc.png]  
三维也是一样，用协方差表示相关度  
![在这里插入图片描述][aad506795343476881439f9ed1cf1702.png]  
![在这里插入图片描述][2eec820c760b4350bb2bb17cfaf74ba2.png]

### 举例分析 ###

使用MATLAB将六个属性，转换为三个综合属性,并且需要对得到的新属性进行解释。  
![在这里插入图片描述][c1498ba0dfc944ad8cede7dfbf4cfec4.png]  
![在这里插入图片描述][0b940a32001e4eeab465a9f08514038a.png]  
例二  
![在这里插入图片描述][1d222baa58b044c69c83d7c57c7909f6.png]  
![在这里插入图片描述][ab286d9d76c547aab8b313ed5b891099.png]  
![在这里插入图片描述][263d6e7183a642d982d9773ae824befd.png]  
主成分分析法在后面会继续学习，这里只做简单介绍。

[fbd5bcdcb5ac40919928f3d8fc201d2f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9ae4a1845d15418ba715deccf5937e05.png
[8d1c83691adf4b13b72761080c758153.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0ba7e80317a446488948f2a5b3927477.png
[1383f3c7cffa44db8c64ba8823fc377c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9d2b60c3e46e4254a3630cf53b32d4ed.png
[8d91b07696014f23a8b093fabdccb6d0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f9f9a57fb4fb45629d9cbd302ace2343.png
[9f167ccaf53b44b094350c3a67081482.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/02d7f5bebaca46f49297081aad202b1e.png
[589206f3130741b8b07f8a713953c3d3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8fe3411c0a9d45db8738b7031d4ae921.png
[7b49c99ed1af4acc8b3ec48ce6d88dba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8affd168a8344c18bc96f4febd4a915d.png
[00573d21683645fdb16a7b8cc932e445.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/495d955c9e2240ba80dadfed143f32fb.png
[c35f1c842ba141faacc21e3ae442dca2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/beb83754b9dd44348351e312ebbca5a8.png
[9a9567621cd449a99fb5c98bda893f33.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fd29f24e39ce4f9c8b48c1462e13c4b7.png
[58340b38ba684e8182974089c1e826f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a0d46d773e29474db0ed0d9e12c91300.png
[8201333b377a4c6aa739cc0c81cc1995.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/561c3f45897347159fcd0b694b1d1be0.png
[8cc1b04b2fed4ae88bd8c21b96160b78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5a5f44cd526b4d65969206181d9e3182.png
[09ccb662b8ba4ace860585218da93487.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6db848c453a14d8a91c658f18f0d526c.png
[3441332fb1db4195856876ad2888ac40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d51526b022124ead8b7cc580568ce7e4.png
[70a9454aaf5e48a6ace71b7defbdc746.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c0ea79dfa1234bbaa27dabeb2c57f8f5.png
[7c414258a554420aa67e8199471bb947.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ab408385634145068feac37a1afce1ab.png
[ceeff0df75764f15b5a1455cb278bad2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/03d9ed3138e54adb888be74b9c16e0ed.png
[2917362e33484208a4efcc60a54d2d9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3cf2db6425aa49d48887180a8e1fab17.png
[f9cfe6fc94ca42c6b5f61b346239884a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1bf969eacf4c4a7b899de9a062fd79bc.png
[8ba26851c0d7404fa8940ad0d1a30cf3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/e181a250e10643bf96e5b115068bb6c1.png
[019e7bc26e9e4fc28b0a0e663dcb16ef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/62596df2e3d34800949ab15246072696.png
[6ba3d54aed2e40d082a02b8ab3b3088a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c63b9230745b49cf8b45228326c33013.png
[ba99984198ca47c0a1efe50319b2b5fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d1a235caf80f410db640cf98ebd42238.png
[1eb8ed1f246a42e988b83754b63910dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/59e276db9618492db66a4d4a584f8836.png
[aad506795343476881439f9ed1cf1702.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a48bb6be7ef9486380d317a2dcd58323.png
[2eec820c760b4350bb2bb17cfaf74ba2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3fca81081c9a410b947e21dbe271f3e4.png
[c1498ba0dfc944ad8cede7dfbf4cfec4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/acdf4b171217420a9df72dee7da12e06.png
[0b940a32001e4eeab465a9f08514038a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b1cf071248d6449ebdbbb8af752904b5.png
[1d222baa58b044c69c83d7c57c7909f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/5bad0be5e2a942199a42698dd582508a.png
[ab286d9d76c547aab8b313ed5b891099.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/41b46fb9d1f1464099c3cc5183f24d64.png
[263d6e7183a642d982d9773ae824befd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/2ca157f8fb5b40a6b4efae371be19ef4.png