通俗的讲下数据分析中协方差和相关系数

浅浅的花香味﹌ 2022-09-16 11:15 139阅读 0赞

协方差和相关系数是两个比较接近的概念，今天这一篇就来一起讲讲这两个概念。

#     #

# **Part1 方差** #

之前介绍了方差是用来刻画数据波动性的统计量，**那么协方差就是描述两个变量之间的变动关系。**

通俗地理解为：**两个变量是同向变化？还是反向变化？同向或反向程度有多少？**

> X变大，Y也变大，说明两个变量是同向变化的，这时协方差就是正的。
> 
> X变大，Y变小，说明两个变量是反向变化的，这时协方差就是负的。
> 
> 并且从数值大小来看，协方差的绝对值越大，则两个变量同向或反向的程度也越大，即有较强的相关。

![02f2b0238ae310f984e9a9c212a7772c.png][]

公式的计算很简单，每个X与其均值之差乘以Y与其均值之差得到一个乘积，再将其都加起来求个均值即可。

比如有两个变量X,Y，观察7个样本，画出他们的变化情况，并且很明显是同向变化的。

![4a6eed5e305e9fa968821338022dbb32.png][]

可以发现每一时刻的值与的值的正负号相同（比如t1时刻，他们同为正，t2时刻他们同为负）：

![791d13080a2628270697303eb007eec0.png][]

于是当他们同向变化时，与的乘积为正。这样，当你把7个时刻的乘积加在一起，求平均后也就是正数了。

如果**反向运动**：

![535c8dc7633f36bc86b1a5293e1fd53a.png][]

很明显，的值与的值的正负号相反，于是其乘积就是负值，计算出来的协方差也就是负数了。

上面说的两种情况比较特殊，很多时候XY两个变量的变动没有规律，比如：

![c4b5e718637ccfcdd42a521178661601.png][]![525fdee03d5421447b8912f02e8bd477.png][]

这种情况下某些的值与的值乘积为正，某些的值与的值乘积为负。

加在一起后，其中的一些正负项就会抵消掉，最后平均得出的值就是协方差，通过协方差的数值大小，就可以判断这两个变量同向或反向的程度了。

所以，在7个样本中，与的乘积为正的越多，说明同向变化的次数越多，亦即同向程度越高，反之亦然。

总而言之，

> 若协方差为正，则X和Y同向变化；
> 
> 反之协方差为负，则反向变化；
> 
> 协方差绝对值越大表示同向或反向的程度越深。

其实方差也是一种特殊的协方差，只不过是X和X之间的协方差。

#     #

# **Part2 相关系数** #

相关系数的公式为：

其实就是用X、Y的协方差除以X和Y的标准差。

所以相关系数可以看成剔除了两个变量单位的影响、标准化后的特殊协方差。它可以反映两个变量变化是同向还是反向的，同向为正，反向为负。

并且它又是标准化后的协方差，则它出现最重要的目的来了，就是消除两个变量单位的影响，使得不同变量的相关系数之间具有可比性。

比如下面两种情况，关注一下纵轴的刻度：

![3c0ec6c3a3d29f6bed3b78b317c3a6a2.png][]

很容易可以看出两种情况下X和Y都是同向变化的，并且它们变化的方式都大致相同，在特定的样本点同为正或同为负，那么它们理应具有相同的相关关系。于是可以计算一下他们的协方差：

**第一种情况下：**

\[(100-0)×(70-0)+(-100-0)×(-70-0)+(-200-0)×(-200-0)…\]÷7≈15428.57

**第二种情况下：**

\[(0.01-0)×(70-0)+(-0.01-0)×(-70-0)+(-0.02-0)×(-200-0)…\]÷7≈1.542857

协方差差了一万倍，只能看出两种情况都是正相关的，但是我们能说第一种情况就相关性更强吗？

在上面两种情况中，虽然X和Y的变化方向都相同，但是每次变化的幅度不相同，主要原因是单位的不一致引起的。

所以，为了能准确比较两个变量的相关程度，我们就要把变化幅度对协方差的影响中剔除掉，也就是要去掉单位的影响，于是就要使用相关系数。

那么如何剔除变量变化幅度的影响呢？很自然的就应该使用前面提到的方差和标准差了！

相关系数是协方差除以标准差，当X或Y的波动变大的时候，它们的协方差会变大，标准差也会变大，这样相关系数的分子分母都变大，相互抵消，变小时也亦然。

于是相关系数不像协方差一样可以在实数域上取值，它只能在＋1到－1之间变化，具体为什么是+1和-1，可以自行Google柯西-斯瓦茨不等式。

总之，对于两个变量X、Y，

> 当他们的相关系数为1时，说明两个变量线性相关程度最大，两个变量存在线性关系。
> 
> 随着相关系数减小，两个变量相关程度也变小。
> 
> 当相关系数为0时，两个变量的线性无关，但要注意，无关不一定独立。
> 
> 当相关系数继续变小，小于0时，两个变量开始出现反向相关。
> 
> 当相关系数为－1时，说明两个变量线性相关程度也最强，不过是相反的线性相关，反相变化。

让我们再回到前面X和Y的例子，用相关系数来衡量相关程度：

X的标准差为

![46ce2884bcc09ef6671f45249a5a2c58.png][]

Y的标准差为

![13ce426a5fb3ad52a39921dff5c2525c.png][]

于是相关系数为

![4101a2b4ad7f21345d117671b75a98ae.png][]

说明第一种情况下，X和Y有极强的相关性，几乎是线性相关。

那第二种情况：

X的标准差为

![9a8e64ea64fdcf68fd51ad4c7701da28.png][]

Y的标准差为

![5a01bb5356282bf34cc015cbb4c98385.png][]

于是相关系数为

![ec7b8d275b0651355cb4371f3ba12b28.png][]

在第二种情况下，X的标准差较第一种小了10000倍，即变化幅度小了，但是并不改变X和Y线性高度相关的事实。

两种情况的相关系数相等，X和Y具有相同的相关性，故而使用相关系数来衡量和比较相关性，要比协方差合适很多。

在第二种情况下，X的标准差较第一种小了10000倍，即变化幅度小了，但是并不改变X和Y线性高度相关的事实。

**两种情况的相关系数相等，X和Y具有相同的相关性，故而使用相关系数来衡量和比较相关性，要比协方差合适很多。**

![771d6627349edcb122dbcca115046679.gif][]

点击下方卡片进行关注，获取更多内容

![d57003f691e2d072cdd1488ad540d5c9.png][]

点分享

![7cf56b75f92523451b4b89628cb97ebe.png][]

点收藏

![8dd13afcb1680ae766f0c911d3e9faf8.png][]

点点赞

![41653e1195baaeb75b087c80d483e49f.png][]

点在看

[02f2b0238ae310f984e9a9c212a7772c.png]: /images/20220828/306e0ca5100c47378cf3ed5e4ff2dc36.png
[4a6eed5e305e9fa968821338022dbb32.png]: /images/20220828/4210981101514f02957e4b41bc815937.png
[791d13080a2628270697303eb007eec0.png]: /images/20220828/9ba5281e4f6f4c9da8e8a08e8bf44eec.png
[535c8dc7633f36bc86b1a5293e1fd53a.png]: /images/20220828/29fc30803c07477692d482f7f3e08636.png
[c4b5e718637ccfcdd42a521178661601.png]: https://img-blog.csdnimg.cn/img_convert/c4b5e718637ccfcdd42a521178661601.png
[525fdee03d5421447b8912f02e8bd477.png]: /images/20220828/4301d4a3f0594dc49564d9edd9d19bb8.png
[3c0ec6c3a3d29f6bed3b78b317c3a6a2.png]: /images/20220828/bb50e7cc5d0e403e95af02230a0dfd45.png
[46ce2884bcc09ef6671f45249a5a2c58.png]: /images/20220828/b462783577594ebaa2f94516e38c5627.png
[13ce426a5fb3ad52a39921dff5c2525c.png]: /images/20220828/72b2502251a14fe38473df260f31be9c.png
[4101a2b4ad7f21345d117671b75a98ae.png]: /images/20220828/9e6307ca79694762b642d32a0fc0e40d.png
[9a8e64ea64fdcf68fd51ad4c7701da28.png]: /images/20220828/4176fbf7613b4543a75fcf8b85c0644d.png
[5a01bb5356282bf34cc015cbb4c98385.png]: /images/20220828/d2d71f5e806d48dfb7f2d6f8014d2097.png
[ec7b8d275b0651355cb4371f3ba12b28.png]: /images/20220828/226e739bfc1940f3bfc61b22839f7cd9.png
[771d6627349edcb122dbcca115046679.gif]: /images/20220828/cdfff067043f4ba58239222d72758741.png
[d57003f691e2d072cdd1488ad540d5c9.png]: /images/20220828/dcbb6acb96724481a8306908753cc7de.png
[7cf56b75f92523451b4b89628cb97ebe.png]: /images/20220828/90bfc5a22ff643a5a485d62332603d4c.png
[8dd13afcb1680ae766f0c911d3e9faf8.png]: /images/20220828/c4ea7aec917b4cfcb97ad5d92b459546.png
[41653e1195baaeb75b087c80d483e49f.png]: /images/20220828/3217c1c927084516af67f8531397bebe.png