异方差性和加权最小二乘法详解

傷城~ 2023-07-14 05:26 45阅读 0赞

加权最小二乘是对原模型进行加权，是该模型成为 一个新的不存在异方差性的模型，然后对该新模型使用普通最小二乘法估计其参数进行优化。

**异方差性**的解释：随机误差的方差不全相等。异方差性是相对于同方差而言的，同方差是为了保证回归参数估计量具有良好的统计特性。也就是线性回归函数中的随机误差项（扰动项）必须满足同方差性，即方差都相同。

异方差性存在的影响：如果随机误差项的均值为零，则彼此独立，但是方差不等，即使最小二乘估计具有无偏性和一致性，但却不是最优线性无偏估计。因此回归模型的预测值会波动较大。

无偏性：如果总体参数为seta，seta1为估计量，如果E(seta1)=seta，那么seta1为seta的无偏估计量。

一致性：样本数目越大，估计量就越来越接近总体参数的真实值。如果seta1在seta周围震荡，那么满足无偏性却不满足一致性。

有效性： 指估计量与总体参数的离散程度，如果两个估计量都是无偏的，那么离散程度较小的估计量相对来说是有效的，离散程度用方差来衡量。

1、判断有偏估计和无偏估计：计算多个样本得到的估计值的期望和真实值的差值。  
如果差值为0则为无偏估计，如果不为0则为有偏估计。

样本均值是高斯均值参数的无偏估计量；样本方差是高斯方差参数的有偏估计

2、

• 如果线性回归模型存在异方差性，则用传统的最小二乘法估计模型，所得到的参数估计不是有效估计量，也无法对参数模型参数进行有关显著性检验。这时异方差性就破坏了古典的模型，用正常的无权重最小二乘就不能进行正确估计。

•

• 异方差的类型分为三种：递增方差，递减方差，复杂性

• 用图进行说明，即：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Mjk1NTY1_size_16_color_FFFFFF_t_70][]

判断异方差的几种检验方法：1、用X-Y的散点图进行判断，看是否存在明显的散点扩大，缩小和复杂趋势；2、X-方差的散点图，看是否形成一斜率为0的直线3、用各种检验方法，如park检验，G-Q检验和white检验。

异方差的修正

如果模型检验出存在异方差性，就用加权最小二乘法进行估计。

加权最小二乘法的基本思想：

对原模型进行加权，使之变成一个新的不存在异方差性的模型，然后再采用 OLS 估计其参数。

例子：

![20200313142205532.png][]

![20200313142252447.png][]

检验：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Mjk1NTY1_size_16_color_FFFFFF_t_70 1][]

如果方差不能直接计算呢？

再实际操作中人们通常采用如下的经验方法：不对原模型进行异方差性进行检验，而是直接选择加权最小二乘法，尤其是采用截面数据做样本时，即，如果确实存在异方差，则可以消除，如果不存在异方差性，则加权的等价于普通的最小二乘法。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Mjk1NTY1_size_16_color_FFFFFF_t_70]: /images/20230529/5936e1a023e94c72877c84571947519e.png
[20200313142205532.png]: /images/20230529/30176b6c2cf248128ad3500aab84e03b.png
[20200313142252447.png]: /images/20230529/4b719de7a1c84a41bffb6dfd6e465855.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzE1Mjk1NTY1_size_16_color_FFFFFF_t_70 1]: /images/20230529/dcbaa33f11da4c3e9df219b8a51bca6f.png