「数据分析师的统计基础」轻松理解独立性检验&拟合优度检验

￡神魔★判官ぃ 2022-10-05 00:54 778阅读 0赞

### 文章目录 ###

*  内容介绍
 *  检验的定义
 *  参数估计
 *  独立性检验
 *  拟合优度检验
 *  虚无假设和对立假设
 *  P值的概念

# 内容介绍 #

**数据分析师的 全部文章目录**

[看懂Python数据分析师，清华大学技术顾问带你一起从零做起][Python]

本文介绍 **Python数据分析师** 统计学中需要掌握独立性检验的内容。

不懂统计学的数据分析师都不是好的数据分析师，多数的数据分析师课程都讲Python的应用，又不是开发代码敲的那么好有什么用？不学统计的知识是没有办法做数据分析师的，本专栏的文章主要以概念和应用举例为主，跳过能让人劝退的学术推导的内容，让大家在愉快中学习统计知识。

可以学习到以下知识：

1.  **检验** 是由样本数据推测分析者对整体数据建立的说法是否正确的分析方法。
2.  **检验** 实际上统计上的假设检验。
3.  检验统计量是将样本数据转换为数值的公式。
4.  置信度水平一般设置0.05或者0.01。
5.  拒绝域为对应之置信水平范围。
6.  独立性检验的计算方法，以及结论表达。

# 检验的定义 #

**百度百科的定义**：统计检验亦称“假设检验”。根据抽样结果，在一定可靠性程度上对一个或多个总体分布的原假设作出拒绝还是不拒绝（予以接受）结论的程序。决定常取决于样本统计量的数值与所假设的总体参数是否有显著差异。这时称差异显著性检验。检验的推理逻辑为具有概率性质的反证法。例如，在参数假设检验中，当对总体分布的参数作出原假设 H0 后，先承认总体与原假设相同， 然后根据样本计算一个统计量，并求出该统计量的分布，再给定一个小概率（一般为 0.05，0.01 等，视情况而定），确定拒绝原假设 H0 的区域（拒绝域）。

**假设**：对总体参数的的数值所作的一种陈述，总体参数包括总体均值、比例、方差等分析之前必需陈述。

**假设检验**：事先对总体参数或分布形式作出某种假设，然后 利用样本信息来判断原假设是否成立，有参数假设检验和非参数假设检验，采用逻辑上的反证法，依据统计上的小概率原理。

**假设检验的误区**

1.  **第一类（弃真错误**）：原假设为真时拒绝原假设，会产生一系列后果，第一类错误的概率为a，被称为显著性水平。
2.  **第二类（取伪错误）**：原假设为假时接受原假设，第二类错误的概率为β。

**检验程序的流程**

1.  定义总体。
2.  建立虚无假设和对立假设。
3.  选择检验的种类。
4.  选择置信度水平。
5.  求数据中检验统计量的值。
6.  结果是否在4的置信区间内。
7.  若不在置信区间内结论为 **对立假设**，若在置信区间内则 **无法判断虚无假设为假**。

# 参数估计 #

参数估计中包含2个基本概念，估计量和估计值。  
**估计量**：用于估计总体参数的随机变量，如样本均值，样本比例, 样本方差等，例如: 样本均值就是总体均值 θ 的一个估计量。

**估计值**：估计参数时计算出来的统计量的具体值，如果样本均值 =10，则10 就是 μ 的估计值。

**点估计**

用样本的估计量的某个取值直接作为总体参数的估计值

例如：用样本均值直接作为总体均值的估计，用两个样本均值之差直接作为总体均值之差的估计。

对于无法给出估计值接近总体参数程度的情况下，虽然在重复抽样条件下，点估计的均值可望等于总体真值，但由于样本是随机的，抽出一个具体的样本得到的估计值很可能不同于总体真值。

一个点估计量的可靠性是由它的抽样标准误差来衡量的，这表明一个具体的点估计值无法给出估计的可靠性的度量。

**区间估计**

在点估计的基础上，给出总体参数估计的一个区间范围，该区间由样本统计量加减估计误差而得到。根据样本统计量的抽样分布能够对样本统计量与总体参数的接近程度给出一个概率度量。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]  
**置信水平**

将构造置信区间的步骤重复很多次，置信区间包含总体参数真值的次数所占的比例称为置信水平。

表示为 (1 - α)%，α 为是总体参数未在区间内的比例，常用的置信水平值有 99%, 95%, 90%，相应的 α 为0.01，0.05，0.1，后面会通过案例介绍。

**置信区间**

由样本统计量所构造的总体参数的估计区间称为置信区间，统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名为置信区间。

XX%置信区间，意味着如果你用同样的步骤，去选样本，计算置信区间，  
那么100次这样的独立过程，有XX%的概率你计算出来的区间会包含真实参数值，即大概会有XX个置信区间会包含真值。

总体来说置信区间是一个概率值，表示能解释情况的一个百分比。

**样本确定应用**

估计总体均值时样本量 n 为  
![在这里插入图片描述][20210607084039381.png]  
举例说明，拥有工商管理学士学位的大学毕业生年薪的标准差大约为2000元，假定想要估计年薪95%的置信区间，希望估计误差为400元，应抽取多大的样本量？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]

# 独立性检验 #

**百度百科的定义**：独立性检验是统计学的一种检验方式，与适合性检验同属于X2 检验，即卡方检验（英文名：chi square test），它是根据次数资料判断两类因子彼此相关或相互独立的假设检验。由联表中的数据算出随机变量 K2 的值（即K的平方），K2的值越大，说明“X与Y有关系”成立的可能性越大。

简单来说就是推测 **总体的克莱姆相关系数的值是否为0** 的分析方法。主要是比较两个及两个以上样本率( 构成比）以及两个分类变量的关联性分析。其根本思想就是在于比较理论频数和实际频数的吻合程度或拟合优度问题。

举例喝牛奶和发病率的关系说明独立性检验

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>感冒人数</th> 
   <th>未感冒人数</th> 
   <th>合计</th> 
   <th>感冒率</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>喝牛奶组</td> 
   <td>43</td> 
   <td>96</td> 
   <td>139</td> 
   <td>30.94%</td> 
  </tr> 
  <tr> 
   <td>不喝牛奶组</td> 
   <td>28</td> 
   <td>84</td> 
   <td>112</td> 
   <td>25.00%</td> 
  </tr> 
  <tr> 
   <td>合计</td> 
   <td>71</td> 
   <td>180</td> 
   <td>251</td> 
   <td>28.29%</td> 
  </tr> 
 </tbody> 
</table>

通过计算得到组内的期望数值为（数据四舍五入）

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>感冒人数</th> 
   <th>未感冒人数</th> 
   <th>合计</th> 
   <th>感冒率</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>喝牛奶组</td> 
   <td>43 / 39</td> 
   <td>96 / 100</td> 
   <td>139</td> 
   <td>30.94%</td> 
  </tr> 
  <tr> 
   <td>不喝牛奶组</td> 
   <td>28 / 32</td> 
   <td>84 / 80</td> 
   <td>112</td> 
   <td>25.00%</td> 
  </tr> 
  <tr> 
   <td>合计</td> 
   <td>71</td> 
   <td>180</td> 
   <td>251</td> 
   <td>28.29%</td> 
  </tr> 
 </tbody> 
</table>

如果喝牛奶和感冒真的是独立无关的，那么四格表里的理论值和实际值差别应该会很小，之前在克莱姆相关系数中介绍了。

**卡方检验（独立性检验）**

计算公式为  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]

实际就是度量实际值到期望值的距离的和，f0为实际值，fe为期望值。

x2用于衡量实际值与理论值的差异程度（也就是卡方检验的核心思想），包含了以下两个信息：

1.  实际值与理论值偏差的绝对大小（由于平方的存在，差异是被放大的）。
2.  差异程度与理论值的相对大小。

得到计算结果：卡方 = (43 - 39.3231)2 / 39.3231 + (28 - 31.6848)2 / 31.6848 + (96 - 99.6769)2 / 99.6769 + (84 - 80.3152)2/ 80.3152 = 1.077

通过卡方分布的临界值计算需要使用自由度，自由度 V = (行数 - 1) \* (列数 - 1) = 1

对于 95%的 置信区间来说 卡方计算的值应该是 3.841，但是实际结果是 1.077 。则说明喝牛奶和感冒是独立不相关的。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]  
总结：卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度，实际观测值与理论推断值之间的偏离程度就决定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趋于符合，若两个值完全相等时，卡方值就为0，表明理论值完全符合。

注意：卡方检验针对分类变量。

# 拟合优度检验 #

了解3个概念，**回归平方和 ESS**，**残差平方和 RSS**，**总体平方和 TSS**  
**总体平方和TSS(Total Sum of Squares)** ：表示实际值与期望值的离差平方和，代表变量的总变动程度。

**回归平方和ESS(Explained Sum of Squares)** ：表示预测值与期望值的离差平方和，代表预测模型拥有的变量变动程度。

**残差平方和RSS(Residual Sum of Squares)** ：表示实际值与预测值的离差平方和，代表变量的未知变动程度。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]  
**拟合优度计算**

建立模型后，整体变量的总变动程度（TSS）可以划分为两部分：

1.  模型模拟的变动程度（ESS）
2.  未知的变动程度（RSS）

拟合优度公式：R2 = 1 - RSS/TSS

假设R2 = 0.8，意味着咱们建立的模型拥有的变动程度能模拟80%的总变动程度，剩下20%为未知变动。

# 虚无假设和对立假设 #

<table> 
 <thead> 
  <tr> 
   <th>检验方式</th> 
   <th>虚无假设</th> 
   <th>对立假设</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>独立性检验</td> 
   <td>克莱姆系数 = 0</td> 
   <td>克莱姆系数 &gt; 0</td> 
  </tr> 
  <tr> 
   <td>相关比检验</td> 
   <td>相关比值 = 0</td> 
   <td>相关比值 &gt; 0</td> 
  </tr> 
  <tr> 
   <td>无相关检验</td> 
   <td>相关系数 = 0</td> 
   <td>相关系数 = 0 或 相关系数 ≠ 0</td> 
  </tr> 
  <tr> 
   <td>总体平均差检验</td> 
   <td>平均查相等</td> 
   <td>平均差不等</td> 
  </tr> 
  <tr> 
   <td>总体比例差检验</td> 
   <td>总体比例相等</td> 
   <td>总体比例不等</td> 
  </tr> 
 </tbody> 
</table>

简单理解为 **虚无假设** 即原有假设成立，**对立假设** 即想要的结果成立。

# P值的概念 #

用于单侧检验和双侧检验  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]  
一般来说置信度水平设置在95%，即可以解释95%的情况，也就是常说的显著水平，这个值可以根据实际情况自己更改。

**单侧检验**

*  若p-值 > a ,不拒绝 H0
 *  若p-值 < a, 拒绝 H0  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]

**双侧检验**

*  若p-值 > a/2, 不拒绝 H0
 *  若p-值 < a/2 , 拒绝 H0

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 7]  
对于 P 值小于置信度水平，以 **检验** 无法做出 **对立假设** 绝对正确的结论。只能做出 **虽然想说对立假设绝对正确** ，但是 **虚无假设** 存在正确机率为 P 值的结论。

虽然 P 值大于置信度水平，虽然看似可以得到 **虚无假设** 正确的结论，但是实际上并不可以，只能做出 **无法判断虚无假设为错误** 的结论。

[Python]: https://blog.csdn.net/qq_20288327/article/details/120589205
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221005/f08bbf5d3e754a3fbec132972699c07c.png
[20210607084039381.png]: /images/20221005/37ed7fb60de74011a879b49ec32dc399.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]: /images/20221005/da98f5755c8c4980a94777126d1f704c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]: /images/20221005/a99e0b291ff34637826faf4f730a9971.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]: /images/20221005/cd3df87707f24f059e865afb8a497a8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]: /images/20221005/94f0772c28e84ff2b21fc9f3949039e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 5]: /images/20221005/b0d49c261fe14c09bb4b291bcfe59578.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 6]: /images/20221005/14ee96ad2dad484fbfe0293e32a7257a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 7]: /images/20221005/81ecc218ddf94a20816bbde464014bab.png