使用matlab分析数据质量、特征

缺乏、安全感 2024-04-18 16:12 61阅读 0赞

先贴一下参考博文：[https://www.cnblogs.com/fangxiaoqi/p/11440078.html][https_www.cnblogs.com_fangxiaoqi_p_11440078.html]

吹一下这位大佬，感觉这个大佬写的博客都十分认真，推测应该是同级的，哎，内心十分敬佩，若我有他十分之一功力就好了，而且文笔也很赞，经常会写一些带有思考性的文章，赞?。

进入主题：

这篇文章主要写一下数学建模中如何对数据进行预处理，主要包括缺失数据、异常数据的检查和数据特征的提取，希望今年参加数模的人都有个好成绩吧（感觉自己好啰嗦）.......

缺失数据和异常数据的查找：

%% 餐饮销量数据缺失值及异常值检测
    clear;
    catering_sale = '../data/catering_sale.xls'; % 餐饮数据
    index = 1; % 销量数据所在列 
    %% 读入数据
    [num,txt] = xlsread(catering_sale);
    sales =num(2:end,index);
    rows = size(sales,1);
    %% 缺失值检测 并打印结果
    nanvalue = find(isnan( sales));
    if isempty(nanvalue) %  没有缺失值
        disp('没有缺失值！');
    else
        rows_ = size(nanvalue,1);
        disp(['缺失值个数为：' num2str(rows_) ',缺失率为：' num2str(rows_/rows) ]);
    end
    %% 异常值检测 
    % 箱形图上下界
    q_= prctile(sales,[25,75]);
    p25=q_(1,1);
    p75=q_(1,2);
    upper = p75+ 1.5*(p75-p25);
    lower = p25-1.5*(p75-p25);
    upper_indexes = sales(sales>upper);
    lower_indexes = sales(sales<lower);
    indexes =[upper_indexes;lower_indexes];
    indexes = sort(indexes);
    % 箱形图
    figure
    hold on;
    boxplot(sales,'whisker',1.5,'outliersize',6);
    rows = size(indexes,1);
    flag =0;
    for i =1:rows
      if flag ==0
        text(1+0.01,indexes(i,1),num2str(indexes(i,1)));
        flag=1;
      else
          text(1-0.017*length(num2str(indexes(i,1))),indexes(i,1),num2str(indexes(i,1)));
        flag=0;
      end
    end
    hold off;
    disp('餐饮销量数据缺失值及异常值检测完成！');

使用箱型图判断异常值的优点：箱形图的绘制依靠实际数据，不需要事先假定数据服从特定的分布形式，没有对数据作任何限制性要求，它只是真实直观地表现数据形状的本来面貌；另一方面，箱形图判断异常值的标准以[四分位数][Link 1]和[四分位距][Link 2]为基础，四分位数具有一定的耐抗性，多达25%的数据可以变得任意远而不会很大地扰动四分位数，所以异常值不能对这个标准施加影响，箱形图识别异常值的结果比较客观。

缺失值处理：

处理缺失值的方法可以分为三类：删除记录、数据插补和不处理。其中，插补最常用。

插补方法：均值/中位数/众数插补、使用固定值、最近临插补、回归方法、插值法。

推荐使用拉格朗日插值法和牛顿插值法对缺失值进行插补。

在插值前会对数据进行异常值检测，发现的一些异常数据会定义为空缺值，也会进行补数。

异常值处理：  
异常值处理的常用方法有：

（1)删除含有异常值的记录

（2）视为缺失值

（3）平均值修正

（4）不处理

数据特征分析：

1.对比分析

2.统计量分析

3.贡献度分析：贡献度分析又称帕累托分析，原理使帕累托法则，它是指任何特性群体中，重要的因子通常只占少数，而不重要的因子则占多数，因此只要控制具有重要性的少数因子即能控制全局。

4.相关性分析：

（1）直接绘制散点图：最直观判断线性关系。

（2）绘制散点图矩阵

（3）计算相关系数

具体代码实现看本文最上面的参考博文

[https_www.cnblogs.com_fangxiaoqi_p_11440078.html]: https://www.cnblogs.com/fangxiaoqi/p/11440078.html
[Link 1]: https://baike.baidu.com/item/%E5%9B%9B%E5%88%86%E4%BD%8D%E6%95%B0
[Link 2]: https://baike.baidu.com/item/%E5%9B%9B%E5%88%86%E4%BD%8D%E8%B7%9D