学习数学建模算法与应用【回归分析】

た入场券 2024-03-30 15:59 79阅读 0赞

![在这里插入图片描述][415d39d12bd64545a2c140e43b7468ad.png]  
前半部分为基础知识，后半部分为举例分析及MATLAB实践

## 一元线性回归 ##

### 数学模型及定义 ###

![在这里插入图片描述][bc2fcd4743fd41c7acc671b62a5f20ec.png]  
![在这里插入图片描述][a6f3aec8647d44a295bb02d3f9e995a6.png]  
换句话说，也就是要使 所有样本点到样本回归 线的竖直距离的平方和最小。

### 模型参数估计 ###

![在这里插入图片描述][0bb871054cfd48d99bdd4d596266d74c.png]  
![在这里插入图片描述][1e1a78a2cb674f409c06d920b1f5ba0f.png]  
![在这里插入图片描述][96f1b38acc8446fbb3b166aa01322b58.png]

### 检验，预测及控制 ###

![在这里插入图片描述][cc7663294c014cf1893956158c339068.png]  
![在这里插入图片描述][3740b665fa4242769f3e17d0970133c8.png]  
![在这里插入图片描述][95b4fe4e27964af09d69fa176defdcb2.png]  
![在这里插入图片描述][1e4228ffddcf40f69af0aa63c89000e7.png]  
![在这里插入图片描述][073ae5f87ed3406494371070d4715e7a.png]  
![在这里插入图片描述][f6d85a5d61174b09a8f9ebed83747d1d.png]

### 可线性化的一元非线性回归 ###

![在这里插入图片描述][55b2452bddaa42ba9b22ab8ed0473e14.png]  
![在这里插入图片描述][24b65d7966d54a5fbada2581bed85868.png]  
此即非线性回归或曲线回归 问题（需要配曲线）  
配曲线的一般方法是：  
先对两个变量x和y 作 n 次试验观察得(x;,y;),i=12,…,n 画出散点图根据散点图确定须配曲线的类型.然后由n对试验数据确定每一类曲线的未知参数 和b.采用的方法是通过变量代换把非线性回归化成线性回归，即采用非线性回归线性化的方法.  
![在这里插入图片描述][ff7d7ce258604c76bb7ae12517abbd74.png]  
相关性分析和回归分析的区别  
分析是否有相关关系，相关程度是多少；回归分析是构建表变量和变量之间具体的函数式，用函数或方程去拟合。  
显著性水平：估计总体参数落在某一个区间整体犯错的概率，一般取5%

## 多元线性回归 ##

回归命令分析及举例  
1.多元线性回归  
2.多项式回归  
3.非线性回归  
4.逐步回归

### 一、数学模型及定义 ###

![在这里插入图片描述][4db01be2c9e9402d8bbb39cb38ce8091.png]

### 二、模型参数估计 ###

![在这里插入图片描述][af5bc502c51345c7a0abb9eb24f913fd.png]  
![在这里插入图片描述][538499ed4ade4a78978bd6c7ec7fff25.png]

### 三、多元线性回归中的检验与预测 ###

![在这里插入图片描述][a4bd8f1c60f14737b214f9bc02fe2db3.png]  
![在这里插入图片描述][36d3252d2d874a7ea9e39842fed99500.png]

### 四、逐步回归分析 ###

“最优”的回归方程就是包含所有对Y有影响的变量, 而不包  
含对Y影响不显著的变量回归方程. 选择“最优”的回归方程有以下几种方法：  
（1）从所有可能的因子（变量）组合的回归方程中选择最优者；  
（2）从包含全部变量的回归方程中逐次剔除不显著因子；  
（3）从一个变量开始，把变量逐个引入方程；  
（4）“有进有出”的逐步回归分析. 以第四种方法，即逐步回归分析法在筛选变量方面较  
为理想

**逐步回归分析法**的思想：  
• 从一个自变量开始，视自变量Y对作用的显著程度，从  
大到小地依次逐个引入回归方程. • 当引入的自变量由于后面变量的引入而变得不显著时，  
要将其剔除掉. • 引入一个自变量或从回归方程中剔除一个自变量，为  
逐步回归的一步. • 对于每一步都要进行Y值检验，以确保每次引入新的显  
著性变量前回归方程中只包含对Y作用显著的变量. • 这个过程反复进行，直至既无不显著的变量从回归方  
程中剔除，又无显著变量可引入回归方程时为止

### 多元线性回归 ###

![在这里插入图片描述][361b42924dbc4a36b63587aeed8f5436.png]  
![在这里插入图片描述][9489dc1a18cb4bd9b3724ac5229782b9.png]

![在这里插入图片描述][3e0128806b934e969473507bbde3c39d.png]  
解答  
代码

%输入数据
    x=[143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164]';
    X=[ones(16,1) x];
    Y=[88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102]';
    %回归分析与检验
    [b,bint,r,rint,stats]=regress(Y,X)
    rcoplot(r,rint)%做残差图
    %图像的预测与对比
    z=b(1)+b(2)*5%这里乘几都可以，只是为了做个对比。
    plot(x,Y,'k+',x,z,'r')

![在这里插入图片描述][83d38b2355e44ee28e2e5fd801696623.png]  
![在这里插入图片描述][1aaf6171b88c4d918118377424f3fc9f.png]  
![在这里插入图片描述][32cd095e08dc47f19d39a539c8a0bfb2.png]  
从残差图可以看出，除第二个数据外，其余数据的残差离零点均较近，且残差的置信区间均包含零点，这说明回归模型y-16.073+0.7194x能较好的符合原始数据，而第二个数据可视为异常点。  
![在这里插入图片描述][0a7b9619cd704173ba07d7b8d2fe5d00.png]

### 多项式回归 ###

![在这里插入图片描述][a469c519915f4a76a802f25ecff710bc.png]  
![在这里插入图片描述][4976b019150841c69f49e920952e814a.png]  
直接做二次多项式回归：

t=1/30:1/30:14/30;
    s=[11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49  72.90 85.44 99.08 113.77 129.54 146.48];
    [p,S]=polyfit(t,s,2)%2指的是最高次数为2次

运行结果  
![在这里插入图片描述][b9caba79ad5f4041abf01b8bb5a54bf8.png]  
![在这里插入图片描述][86bd9b7a96114077bd2da2e7c9f5f143.png]  
第二种方法：可以化做多元线性回归  
将t2看成是一个元即x2，从而就变成了多元线性回归，来进行计算

%多项式回归化为多元线性回归
    t=1/30:1/30:14/30;
    s=[11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48];
    T=[ones(14,1) t' (t.^2)'];%为14*3的矩阵
    [b,bint,r,rint,stats]=regress(s',T);%回归系数，回归系数的区间估计，残差，置信期间
    b,stats%回复系数和检验回归模型的统计量
    %预测及作图
    Y=polyconf(p,t,S)%求回归多项式在x处的预测值Y
    plot(t,s,'k+',t,Y,'r')

运行结果  
![在这里插入图片描述][2b4f15e386f3486d890bfaafbc7ef3e3.png]  
![在这里插入图片描述][58167c347a8846968747b9daffcccb52.png]  
![在这里插入图片描述][71eaca09a5884602a3c0222825b3ca99.png]  
![在这里插入图片描述][763f9c4db2a84bb3a8f324def5e3250a.png]

### 多元二项式回归 ###

![在这里插入图片描述][fe342a6ea1eb45729d99826f0ce1bf4d.png]  
![在这里插入图片描述][43bd4cc89ec4446eb10bbdf55abb5922.png]  
法一  
直接用多元二项式回归  
代码

x1=[1000 600 1200 500 300 400 1300 1100 1300 300];
    x2=[5 7 6 6 8 7 5 4 3 9];
    y=[100 75 80 70 50 65 90 100 110 60]';
    x=[x1' x2'];
    rstool(x,y,'purequadratic')%多元二项式回归，纯二次型

运行结果  
![在这里插入图片描述][be9c075bfef64cbfb7459d94bb8fc24c.png]  
x1和x2处的值需要自己去手动更改，更改到自己需要的数值即可  
左侧会显示预测结果  
点击输出则beta．rmse和residuals都传送到MATLAB工作区中![在这里插入图片描述][c901255899a240bcac7c0f67800514fe.png]  
![在这里插入图片描述][56bd9834b03d4b4881c9213423476f3b.png]  
![在这里插入图片描述][e11e66e55ade4c4b82975305df4b63ed.png]  
![在这里插入图片描述][0325b1a8a3ae4b6f98cc79a70a358d57.png]  
rmse一般小于10就可以。  
法二：  
将纯二次型转化为多元线性回归  
代码

%多元二项式化为多元线性回归
    x1=[1000 600 1200 500 300 400 1300 1100 1300 300];
    x2=[5 7 6 6 8 7 5 4 3 9];
    y=[100 75 80 70 50 65 90 100 110 60]';
    x=[ones(10,1) x1' x2' (x1.^2)' (x2.^2)'];
    [b,bint,r,rint,stats]=regress(y,x);
    b,stats

运行结果  
![在这里插入图片描述][6605f9d28aa843cc98f26ce13dbe238a.png]

### 非线性回归 ###

![在这里插入图片描述][b9f40c5923f548b49f3543b7942f60d2.png]  
例题  
![在这里插入图片描述][90a31ca037ea4db19e181aa0a8707ac1.png]  
首先对将要拟合的非线性模型y=aeb/x,建立M文件volum.m  
代码

%非线性拟合
            %对将要拟合的非线性模型y=ae^b/x,建立M文件volum.m
            %function yhat=volum(beta,x)
            % yhat=beta(1)*exp(beta(2)./x);
    %输入数据
    x=2:16;
    y=[6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76];
    beta0=[8 2]';%初值
    %求回归系数
    [beta,r ,J]=nlinfit(x',y','volum',beta0);
    beta

运行结果  
![在这里插入图片描述][3b4a7b42777e4a21a7ba8c6a692561ab.png]  
即得回归模型为：  
y =11.6036e\-1.0641/x  
图  
![在这里插入图片描述][65f46513ef6d414ca38ff7d7fcfab54d.png]

### 逐步回归 ###

![在这里插入图片描述][1e291504fbb84d3dbd2f17bae88ae9f6.png]  
![在这里插入图片描述][72c2b32676254de691471d0edfe4ddf0.png]  
代码

x1=[7 1 11 11 7 11 3 1 2 21 1 11 10]';
    x2=[26 29 56 31 52 55 71 31 54 47 40 66 68]';
    x3=[6 15 8 8 6 9 17 22 18 4 23 9 8]';
    x4=[60 52 20 47 33 22 6 44 22 26 34 12 12]';
    y=[78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4]';
    x=[x1 x2 x3 x4];
    stepwise(x,y)

运行结果  
![在这里插入图片描述][d0ff0c39e8a540e8a6c02ccb06a1a239.png]  
点击下一步，逐步移入各个变量，观察各个指标的变化，直到找到最合适的自变量组合  
点击下一步，即移入x4观察结果  
![在这里插入图片描述][01ace872ff1546c79f30f817546bd88b.png]  
继续点击下一步，即移入x1观察结果，  
![在这里插入图片描述][80cc1c5a749b411bbf17c550c5cc9d4f.png]  
可以看到RMSE经过这两步明显下降。相关系数明显提升，趋近于1。此时软件已经不能自己移入自变量了，不过魔门可以手动点击图中红线或者蓝线，自己去更改移入和移出自变量。  
经过反复确认，将x1或x2移出时性能会发生显著变化，所以只保留x1和x2。  
然后导出结果  
导出的结果存放在工作区  
输入代码

X=[ones(13,1) x1 x2];
    b=regress(y,X)%对y,x1,x2做线性回归

![在这里插入图片描述][00e9b2681cf34447b6d4ae5f8cedbf27.png]

[415d39d12bd64545a2c140e43b7468ad.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/24176e647923401caa3b8dc07b195c39.png
[bc2fcd4743fd41c7acc671b62a5f20ec.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/08472b30d8f945179ca325d0f42ef40e.png
[a6f3aec8647d44a295bb02d3f9e995a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/53a68fde377640deb9e3e5f3b533fbc9.png
[0bb871054cfd48d99bdd4d596266d74c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/3bff47f4e8514f2c82e433b34d752539.png
[1e1a78a2cb674f409c06d920b1f5ba0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8c76faca26da4139b8a974df208e27dc.png
[96f1b38acc8446fbb3b166aa01322b58.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fd45b05d57974e4fa7cd35a977300e24.png
[cc7663294c014cf1893956158c339068.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/201720122c114eeca87eba41c50eb5b2.png
[3740b665fa4242769f3e17d0970133c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/381b8c5cb86149cc88045ba2a4c7f8a3.png
[95b4fe4e27964af09d69fa176defdcb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/cf84da8465644aaabd2fff68af92f5ed.png
[1e4228ffddcf40f69af0aa63c89000e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9bf3cca66208418096f27aa958a2470c.png
[073ae5f87ed3406494371070d4715e7a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/0f0c6ac8af814d1a871a69aea678e3a9.png
[f6d85a5d61174b09a8f9ebed83747d1d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/4395e113b0ff474bae141a5acae73952.png
[55b2452bddaa42ba9b22ab8ed0473e14.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/13ac3af9300c47338dacd1cb8480f7b3.png
[24b65d7966d54a5fbada2581bed85868.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d4cf348ff0a94e47a6fcbf741ede232a.png
[ff7d7ce258604c76bb7ae12517abbd74.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a06de9bb7a944d4fa0ec0225f15ffef5.png
[4db01be2c9e9402d8bbb39cb38ce8091.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b53c392af0e54447a219208923bb3977.png
[af5bc502c51345c7a0abb9eb24f913fd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1b65a82b53c34a738ba34e0417461364.png
[538499ed4ade4a78978bd6c7ec7fff25.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a70eb87974a74ede9426d868918d54db.png
[a4bd8f1c60f14737b214f9bc02fe2db3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9f590cce80564a4f8b26cfe8c4fa6a93.png
[36d3252d2d874a7ea9e39842fed99500.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6f97ceb6ca4a4dddb5a99449eda2e618.png
[361b42924dbc4a36b63587aeed8f5436.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/22d9514a0b36488d940ffbd33dae72d1.png
[9489dc1a18cb4bd9b3724ac5229782b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/68d7d087c53f4bf2b6e86d5b4f95a38e.png
[3e0128806b934e969473507bbde3c39d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/c9c89907e5c940bab811dd8de9c11e36.png
[83d38b2355e44ee28e2e5fd801696623.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1cab0443a55d4636a3cd2b70fac97d22.png
[1aaf6171b88c4d918118377424f3fc9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8a2de4814be84214b762e9706b83db74.png
[32cd095e08dc47f19d39a539c8a0bfb2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/adeeaadfca1c490a9b9b7b21d414329d.png
[0a7b9619cd704173ba07d7b8d2fe5d00.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/8c3c294728ac46e98614022db5675693.png
[a469c519915f4a76a802f25ecff710bc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d86392ee77f2454bbde53e2c9fb405f7.png
[4976b019150841c69f49e920952e814a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/39bde561295d4983bf58e3000da898c5.png
[b9caba79ad5f4041abf01b8bb5a54bf8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7ff9a23296f34d8fb8cf1c547c303515.png
[86bd9b7a96114077bd2da2e7c9f5f143.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f0e0dc02277b4ce5b136e8097106c790.png
[2b4f15e386f3486d890bfaafbc7ef3e3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/7d75926e202c406cbedf892bf6dee95b.png
[58167c347a8846968747b9daffcccb52.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/d59f776f9a0049c0828ff86df316cf49.png
[71eaca09a5884602a3c0222825b3ca99.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/62cb3e3cb44d4547b79409485e48b513.png
[763f9c4db2a84bb3a8f324def5e3250a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f2534334a3fa44fb97218d24f92322d0.png
[fe342a6ea1eb45729d99826f0ce1bf4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/57981fd50bbe46c1a369a700ed33fae1.png
[43bd4cc89ec4446eb10bbdf55abb5922.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/bcf96076183943cc8389177e6e54a604.png
[be9c075bfef64cbfb7459d94bb8fc24c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f972e2d275094e698d5227101302b207.png
[c901255899a240bcac7c0f67800514fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/63ddf5f814c34af29c46caf7309e89d7.png
[56bd9834b03d4b4881c9213423476f3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/1c4152a4566941b985beb5153c1f8fcf.png
[e11e66e55ade4c4b82975305df4b63ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a289b907172f452fb8805e9692979aa1.png
[0325b1a8a3ae4b6f98cc79a70a358d57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/6cdc37ef2fe448d281fa5986e1a32d14.png
[6605f9d28aa843cc98f26ce13dbe238a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f185ae05c74e46f985bc4f4e7834a03b.png
[b9f40c5923f548b49f3543b7942f60d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f8835d2f4d6241efae314727e0c82fdb.png
[90a31ca037ea4db19e181aa0a8707ac1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/9720d8ecca20418e978cc321d67c2d0e.png
[3b4a7b42777e4a21a7ba8c6a692561ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/b68d56d8ac724393bbbc4b42476868d8.png
[65f46513ef6d414ca38ff7d7fcfab54d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/f509008f0c904baf8fe505c2dbc6b5c3.png
[1e291504fbb84d3dbd2f17bae88ae9f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/ba945b55732746ce98ce7c66f144e0ba.png
[72c2b32676254de691471d0edfe4ddf0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/a1d57cd3d80844a0b7da49132e434b45.png
[d0ff0c39e8a540e8a6c02ccb06a1a239.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/df95f6cf76964d899a6cb055e95bb73e.png
[01ace872ff1546c79f30f817546bd88b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/fa8d35f446d74eb48b3e4a4dc5ec4539.png
[80cc1c5a749b411bbf17c550c5cc9d4f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/06065a4ae9d446d9ade8e02afa69edb4.png
[00e9b2681cf34447b6d4ae5f8cedbf27.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/30/dbad86e419314b66805800cffe3b08c0.png