重学卡尔曼滤波

￡神魔★判官ぃ 2022-11-15 11:41 164阅读 0赞

> 引自：Highgear  
> 一片绿油油的草地上有一条曲折的小径,通向一棵大树.一个要求被提出: 从起点沿着小径走到树下。“很简单。” A说，于是他丝毫不差地沿着小径走到了树下。现在，难度被增加了：蒙上眼。“也不难，我当过特种兵。” B说，于是他歪歪扭扭地走到了树旁。“唉，好久不练，生疏了。” （只凭自己的预测能力）。“看我的，我有 DIY 的 GPS！” C说，于是他像个醉汉似地歪歪扭扭的走到了树旁。“唉，这个 GPS 没做好，漂移太大。”（只依靠外界有很大噪声的测量）“我来试试。” 旁边一也当过特种兵的拿过 GPS, 蒙上眼，居然沿着小径很顺滑的走到了树下。（自己能预测+测量结果的反馈）  
> “这么厉害！你是什么人?”  
> “卡尔曼 ! ”  
> “卡尔曼？！你就是卡尔曼？”众人大吃一惊。
> 
> “我是说这个 GPS 卡而慢。”

卡尔曼大白话讲解，很有意思，推荐：[https://blog.csdn.net/yangjiwei1234/article/details/90707872][https_blog.csdn.net_yangjiwei1234_article_details_90707872]

所谓滤波，实际上是要去掉自己不想要的信号，保留想要的部分。一般来说，是把过程中的噪声去掉。卡尔曼滤波的默认假定是，世界充满噪声，任何测量结果都有噪声，状态转移过程会有噪声，你想知道系统的真实值么？玩儿蛋去吧。

卡尔曼滤波另一个重要假定模型是这样的，一个系统会处在各种不同的状态，并且会在状态之间转化来转化去。但是呢，倒霉的是我们谁也不知道该系统当前到底是在什么状态；但是呢，幸运的是我们可以通过测量的结果猜测到系统当前在一个什么状态。那啥叫状态呢？例如系统的速度，加速度，温度，脑残度都算。离散系统的话，我们可以假设一个黑盒，黑盒里有许多颜色的灯（红橙黄绿青蓝紫），同时只能有一个颜色在亮着，ok，哪个灯在亮就是当前状态。

建模：

z\_t = H\*x\_t + v\_t;

x\_t = A\*x\_(t-1) + w\_(t-1);

x\_t是t时刻系统所在状态，z\_t是所谓观测值，w\_t , v\_t都是噪声。（正常来说上式还有一个系统控制变量，但我做的领域一般用不着故忽略）

这里我们只讨论普通的卡尔曼滤波。故以上式子中，**固定下来的是H, A, B，这三个矩阵千年不变，万年不变，并且是事先设定好的，全都已知。**未知的话....你自己根据经验，先验知识初始化一个模型吧。w\_t，v\_t 在这里限定为两个高斯白噪声N(0, Q)和N(0, R)。 哦，对，这里要记得，***Q,R都tm是协方差矩阵啊，因为，系统状态和观测值都是向量***。我对协方差可郁闷可郁闷了。这里提一句，我就完全无法理解协方差想表达什么，为什么俩随机变量独立，协方差一定为0，虽然我也知道怎么推导，但就是不能直观理解之，如果有人知道，还烦请告知。

--------------------

以只有位置和速度这两个状态的简单例子做解释。

![20210331194003567.png][]

我们并不知道实际的位置和速度，它们之间有很多种可能正确的组合，但其中一些的可能性要大于其它部分，图中颜色越亮的区域，目标越有可能存在：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 1][]

卡尔曼滤波假设两个变量（位置和速度，在这个例子中）都是随机的，并且***服从高斯分布***。每个变量都有一个**均值** ![\\underset\{\\mu\}\{\\rightarrow\}=(\\mu \_v,\\mu \_p)][underset_mu_rightarrow_mu _v_mu _p]，表示随机分布的中心（最可能的状态），以及**方差** ![\\sigma ^2=(\\sigma^2 \_v,\\sigma^2 \_p)][sigma _2_sigma_2 _v_sigma_2 _p]，表示不确定性。在上图中，位置和速度是**不相关**的，这意味着由其中一个变量的状态无法推测出另一个变量可能的值。下面的例子更有趣：位置和速度是**相关**的，观测特定位置的可能性取决于当前的速度：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 2][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 3][]协方差捕获相关性

这种情况是有可能发生的，例如，我们基于旧的位置来估计新位置。如果速度过高，我们可能已经移动很远了。如果缓慢移动，则距离不会很远。跟踪这种关系是非常重要的，因为它带给我们**更多的信息**：其中一个测量值告诉了我们其它变量可能的值，这就是卡尔曼滤波的目的，尽可能地在包含不确定性的测量数据中提取更多信息！

这种相关性用**[协方差矩阵][Link 1]**![\\Sigma][Sigma]来表示，简而言之，矩阵中的每个元素 ![\\Sigma \_\{ij\}][Sigma _ij] 表示第 i 个状态和第 j 个状态变量之间的相关度，此例中即表示速度与距离的相关度。（协方差矩阵是一个**[对称矩阵][Link 2]**）。

# **用协方差矩阵来描述状态的分布特性？？？** #

**使用矩阵来描述问题**

我们基于高斯分布来建立状态变量，所以在时刻 k 需要两个信息：最佳估计 ![这里写图片描述][png.latex_5Cwidehat_7Bx_7Bk_7D_7D]（即均值，其它地方常用 μ 表示），以及协方差矩阵 ![P\_k][P_k]

![20210331195345194.png][]

在这里我们只用到了位置和速度，实际上这个状态可以包含多个变量，代表任何你想表示的信息。

我们需要根据**当前状态**（**k-1** 时刻）来**预测****下一状态**（**k** 时刻）。记住，我们并不知道对下一状态的所有预测中哪个是“真实”的，但我们的预测函数并不在乎。它对所有的可能性（状态的统计分布）进行预测，并给出新的高斯分布。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 4][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 5][]

我们可以用矩阵 ![F\_k][F_k] 来表示这个预测过程，它将我们原始估计中的每个点都移动到了一个新的预测位置，如果原始估计是正确的话，这个新的预测位置就是系统下一步会移动到的位置。那我们又如何用矩阵来预测下一个时刻的位置和速度呢？下面用一个基本的运动学公式来表示：

![20210331195929112.png][]

现在，我们有了一个预测矩阵来表示下一时刻的状态，但是，我们如何描述下一状态的分布，也就是下一时刻的状态的协方差矩阵如何更新？

我们需要引入另一个公式，如果我们将分布中的每个点都乘以矩阵 **A**，那么它的协方差矩阵![\\Sigma][Sigma]会怎样变化呢？很简单，下面给出公式：

![20210331195956277.png][]

即：

![2021033120022678.png][] 5

**外部干扰**

如果这些状态量存在未知的干扰呢？例如，假设我们跟踪一个四旋翼飞行器，它可能会受到风的干扰，如果我们跟踪一个轮式机器人，轮子可能会打滑，或者路面上的小坡会让它减速。这样的话我们就不能继续对这些状态进行跟踪，如果没有把这些外部干扰考虑在内，我们的预测就会出现偏差。在每次预测之后，我们可以添加一些新的不确定性来建立这种与“外界”（即我们没有跟踪的干扰）之间的不确定性模型：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 6][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 7][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 8][]

原始估计中的每个状态变量更新到新的状态后，仍然服从高斯分布。我们可以说![\\hat\{x\}\_\{k-1\}][hat_x_k-1]的每个状态点都移动到了一个协方差为![Q\_k][Q_k]的高斯斑点内的某个地方。换句话说就是，我们将这些没有被跟踪的干扰当作协方差为![Q\_k][Q_k]的**噪声**来处理。这产生了具有不同协方差（但是具有相同的均值）的新的高斯分布。通过简单地添加![Q\_k][Q_k]得到扩展的协方差，下面给出预测状态协方差矩阵的完整表达式：

![20210331201357767.png][]

由上式可知，**新的不确定性（新的分布）**由**上一不确定**性**预测**得到，并加上**外部环境的干扰**。

**用测量值来修正估计值**

我们可能会有多个传感器来测量系统当前的状态，哪个传感器具体测量的是哪个状态变量并不重要，也许一个是测量位置，一个是测量速度，每个传感器间接地告诉了我们一些状态信息。因为传感器读取的数据的单位和尺度有可能与我们要跟踪的状态的单位和尺度不一样，下图中左侧为状态量，右侧为测量值，两者之间有一个固定的转移矩阵。我们用矩阵 ![H\_k][H_k] 来表示。原始估计中的每个状态可以和一定范围内的传感器读数对应起来：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 9][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 10][]

![20210331201939899.png][]

从测量到的传感器数据中，我们大致能猜到系统当前处于什么状态。但是我们的传感器或多或少都有点不可靠,由于存在不确定性，某些其他的状态可能比我们测量的值更接近真实状态。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 11][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 12][]

我们将这种不确定性（例如：传感器噪声）用**协方差**![R\_k][R_k]表示，该分布的**均值**就是我们读取到的传感器数据，称之为![\\vec\{z\}\_k][vec_z_k].

现在我们有了两个高斯分布，一个是在预测值附近，一个是在传感器读数附近。

**(自问：这个图是否写错了，图中“Hx”应该是“Fx”吧，表示利用状态转移矩阵得到的预测值？**

**自答：终于想通了，图没错，紫色部分代表预测值，这里的![\\hat\{x\}\_k][hat_x_k]其实就是根据![\\hat\{x\}\_k=F\_k\*\\hat\{x\}\_\{k-1\}][hat_x_k_F_k_hat_x_k-1]预测得到的（注意此时还是k-1时刻），而![H\_k\\hat\{x\}\_k][H_k_hat_x_k]只是将![\\hat\{x\}\_k][hat_x_k]转换成与测量值的同一度量坐标下。)**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 13][] ![14e6f1434db338b9f587d8dda228bbe9.png][] ![ed828fa627b142a6a6f97f5a24787616.png][]

我们必须在**预测值**（**粉红色**）和**传感器测量值**（**绿色**）之间找到最优解。那么，我们最有可能的状态（最优解）是什么呢？

对于任何可能的测量值，有两种情况：（1）传感器的测量值；（2）由前一状态得到的预测值。如果我们想知道这两种情况都可能发生的概率，将这两个高斯分布相乘就可以了。剩下的重叠部分的均值就是两个估计最可能的值，也就是给定的所有信息中的**最优估计**。实际上这个重叠的区域服从另一个高斯分布。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 14][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 15][]

如你所见，把两个具有不同均值和方差的高斯分布相乘，你会得到一个新的具有独立均值和方差的高斯分布，这里的![\\mu ^\{'\}][mu]即为最优状态估计，换种写法：

![20210331203333455.png][] 即 ![20210331203402968.png][]

对于多个状态量（多维），写成矩阵的形式，如果 **Σ** 表示高斯分布的协方差，此例中：协方差矩阵为2\*2的矩阵，![这里写图片描述][png.latex_5Coverrightarrow_7B_5Cmu_20_7D] 表示2个维度的均值，则：

> *这里有个小问题，在下面写出。*

![20210331203831725.png][]，![20210331211030739.png][]

其中![20210331211233873.png][]，![20210331210733853.png][]，![20210331210724327.png][]：这一步同样的，***![H\_k,P\_k][H_k_P_k]本身就是状态量的下一时刻预测结果***，之所以再乘H，仅仅是转换了度量方式，使其与测量值在同一度量下。

等式两边同时右乘矩阵 ![这里写图片描述][png.latex_H_7Bk_7D_5E_7BT_7D] 的逆，得到完整的**更新步骤**方程。![这里写图片描述][20170318175636365]就是新的最优估计，随后将它和![这里写图片描述][20170318175649850]放到下一次**预测**和**更新**方程中不断迭代。：

![20210331211200692.png][]

from：[https://blog.csdn.net/u010720661/article/details/63253509][https_blog.csdn.net_u010720661_article_details_63253509]

> *上面的小问题，在这里写出。*
> 
> 自问：对于单个状态值，卡尔曼增益:![20210331212516800.png][],具体举例将，对于状态仅有一个x轴坐标，的卡尔曼跟踪来说，k是由x的预测方差![\\sigma ^2\_\{x\_\{yuce\}\}][sigma _2_x_yuce]和观测方差![\\sigma ^2\_\{x\_ \{guance\}\}][sigma _2_x_ _guance]计算得到.那么为什么假设当状态变成4个时，例如状态是![\[x,y,v\_x,v\_y\]][x_y_v_x_v_y]时，要用协方差![20210331213114450.png][]代替![20210331213134506.png][]，难道不能用四个状态值各自的方差分别计算对应卡尔曼增益k嘛？？？
> 
> 解答：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 16][]

--------------------

卡尔曼滤波中一共出现了三个协方差矩阵。

以养猪为例：一周前这只猪的体重是46±0.5kg。**在这里我用了±0.5，表示其实我对这只猪一周前的体重并不是那么确定的**，也就是说，46kg这个体重有0.5kg的误差。  
现在，我又养了这只猪一个星期。那么我想要知道它现在多重，又大概有多少的误差？我有两种方法：一是根据我多年的养猪经验得到的猪体重公式推求出一个大概的值，另一个就是直接去称它的体重。当然，两种方法都有一定的误差。假设经验公式得到的体重是48kg，误差2kg；直接称体重得到的是49kg，误差1kg：

不管是经验公式得到的值，还是直接称量得到的值，我都觉得不够准。我希望有一种方法，可以同时结合这只猪一周前的体重、用经验公式估计的值以及直接称量得到的值，综合考虑，得出一个最接近猪真实体重的，误差最小的值。这就是卡尔曼滤波要完成的任务。现在我们来把养猪的模型抽象成数学公式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 17][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 18][]

上图的左边，上一周的猪的体重，可以抽象为也k-1时刻的状态值，用k-1时刻的最优估计值![\\hat\{x\}\_\{k-1\}][hat_x_k-1]加上一个误差项来表示，右边同理。其中P这一项表示的是估计值的协方差。这里要说明两点：

1，上图中所有的变量都是用粗体，表示这是一个向量或者一个矩阵；

2，之所以用（列）向量而非一个数来表示状态值，是因为，虽然一只猪的体重可以用一个值来表示，但是在实际的应用中很多状态并不是一个数就能表示的（比如导弹在空间中的位置，同时有x、y、z三个坐标）。上图中右边表示k时刻的状态值，这个值可以通过预测模块（也就是根据经验公式估计猪的体重）和纠错模块（也就是直接去称量猪的体重值）来估计。同样，预测模块和纠错模块都有着对应的误差和误差协方差矩阵。卡尔曼滤波要做的，就是根据贝叶斯估计的相关理论，同时考虑预测模块和纠错模块的协方差，**对误差小的项赋予较大的权重，对误差大的项赋予较小的权重，并使预测的误差最小。**

具体的实现过程如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 19][]

from：[https://blog.csdn.net/lovebaby859450415/article/details/79082459][https_blog.csdn.net_lovebaby859450415_article_details_79082459]

--------------------

### 卡尔曼计算实例 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 20][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 21][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 22][] ， ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 23][]

matlab程序：

clear;
    sigma = 10000;                               %测量误差
    T = 2;                                       %间隔时间步长
    t1 = 400;                                    %沿y轴匀速运动
    t2 = 600;                                    %向x轴方向转弯 a = 0.075
    t3 = 610;                                    %匀速运动
    t4 = 660;                                    %90°快转弯    a = -0.3
    totaltime = 700;                             %总的观测时间为700秒 350步
    V_y = -12;
    ax = 0;
    V_x = 0;
    X_add = 0;
    %初始值
    f_k1 = [1 T T^2/2;0 1 T;0 0 1];
    f_k2 = [1 T;0 1];
    F_k = blkdiag(f_k1,f_k2);                                         %预测状态转移矩阵
    X_k1 = [1000 0 ax 800 -12]';                                       %状态初始值
    Z_k = [1000;800]; 
    H_k = [1 0 0 0 0;0 0 0 1 0];                                      %观测矩阵为2x5维
    P_k1 = diag([sigma sigma/T sigma/T^2 sigma sigma/T]);             %初始协方差矩阵
    Qvk = sigma*eye(2);                                               %观测噪声协方差
    for i=1:450 
       if i>200 && i<=300
            ax = 0.075;
            X_k1(3,1) = ax;
        end
        if i>300 && i<=305
            ax = 0;
            X_k1(3,1) = ax;
        end
        if i>305 && i<=330
            ax = -0.3;
            X_k1(3,1) = ax;
        end
        if i>330
             ax = 0;
             X_k1(3,1) = ax;
        end    
        X_add = X_add + V_x *T + 0.5*(ax*T^2);                       %x轴方向距离改变量
        V_x = V_x + ax*T;  
        Z_k = [1000+X_add+wgn(1,1,40);800+V_y*T*(i - 1)+wgn(1,1,40)];    
        X=[1000+X_add;800+V_y*T*(i - 1)];
        X_k2 = F_k*X_k1;                                  %先验状态值
        P_k2 = F_k*P_k1*F_k';                             %先验协方差矩阵
        Gk = P_k2*H_k'*inv(H_k*P_k2*H_k' + Qvk);          %计算卡尔曼增益
        P_k3 = (eye(5)-Gk*H_k)*P_k2;                      %后验协方差矩阵  
        X_k3 = X_k2 + Gk*(Z_k - H_k*X_k2);       
        P_k1 = P_k3;
        X_k1 = X_k3;
        X_plot(:,i) =  X_k3; 
        Z_plot(:,i) = Z_k;
        X_sim(:,i)=X;
    end
    %画图
    figure,
    plot(Z_plot(1,:),Z_plot(2,:),X_plot(1,:),X_plot(4,:),X_sim(1,:),X_sim(2,:),'black');
    axis([0 6000 -10000 1000])
    title('目标轨迹');
    xlabel('X(米)');
    ylabel('Y(米)');
    legend('目标测量轨迹','目标估计轨迹','目标理想状态轨迹');

from：[https://blog.csdn.net/haxiongha/article/details/80862211][https_blog.csdn.net_haxiongha_article_details_80862211]

--------------------

### 协方差矩阵 ###

方差：度量单个随机变量的偏离其均值的程度，公式如下：

![20210331215443420.png][]

协方差

方差一般是用来描述一维数据的，但现实生活中我们常常会遇到含有多维数据的数据集，最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集，我们当然可以按照每一维独立的计算其方差，但是通常我们还想了解更多，比如，一个男孩子的猥琐程度跟他受女孩子的欢迎程度是否存在一些联系。协方差就是这样一种用来度量两个随机变量关系的统计量。度量两个随机变量间（变化趋势）的相似程度，定义如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 24][]

协方差的结果有什么意义呢？如果结果为正值，则说明两者是正相关的（从协方差可以引出“相关系数”的定义），也就是说一个人越猥琐越受女孩欢迎。如果结果为负值， 就说明两者是负相关，越猥琐女孩子越讨厌。如果为0，则两者之间没有关系，猥琐不猥琐和女孩子喜不喜欢之间没有关联，就是统计上说的“相互独立”。

对于变量X、Y，协方差的定义为每个时刻的“X值与其均值之差”乘以“Y值与其均值之差”的均值（其实是求“期望”）。因此，如果x与x的均值差与y与y的均值差的符号相同，则协方差值大于0，符号相反，则协方差值小于0，总结如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 25][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 26][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 27][]

当X 与Y 正相关时，它们的分布大部分在区域（1）和（3）中，小部分在区域（2）和（4）中，所以平均来说，有E(X-EX)(Y-EY)>0 。

当 X与 Y负相关时，它们的分布大部分在区域（2）和（4）中，小部分在区域（1）和（3）中，所以平均来说，有E(X-EX)(Y-EY)<0 。

当 X与 Y不相关时，它们在区域（1）和（3）中的分布，与在区域（2）和（4）中的分布几乎一样多，所以平均来说，有E(X-EX)(Y-EY)=0 。

所以，我们可以定义一个表示X, Y 相互关系的数字特征，也就是协方差 cov(X, Y) = E(X-EX)(Y-EY)。

当 cov(X, Y)>0时，表明 X与Y 正相关；

当 cov(X, Y)<0时，表明X与Y负相关；

当 cov(X, Y)=0时，表明X与Y不相关。

相关系数：由协方差的概念相关系数，其定义如下:  
![\\rho = \\frac\{Cov(X,Y)\}\{\\sigma\_X\\sigma\_Y\}][rho _ _frac_Cov_X_Y_sigma_X_sigma_Y]  
就是用X、Y的协方差除以X的标准差和Y的标准差。

协方差矩阵

前面提到的猥琐和受欢迎的问题是典型的二维问题，而协方差也只能处理二维问题，那维数多了自然就需要计算多个协方差，比如n维的数据集就需要计算![6170679d581899c10b8e192648b30891.png][]个协方差，那自然而然我们会想到使用矩阵来组织这些数据。给出协方差矩阵的定义：

![e5159652577c0c1189b31d93016c8b20.png][]

举一个三维的例子，假设数据集有三个维度，则协方差矩阵为：

![6d931fc4c786710bf04347faf6c4d8e5.png][]

可见，协方差矩阵是一个对称的矩阵，而且对角线是各个维度的方差。

理解协方差矩阵的关键就在于牢记它的计算是**不同维度之间的协方差，而不是不同样本之间**。拿到一个样本矩阵，最先要明确的就是一行是一个样本还是一个维度。

from：[https://blog.csdn.net/zhu\_wendao/article/details/89916869?utm\_medium=distribute.pc\_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.baidujs&dist\_request\_id=&depth\_1-utm\_source=distribute.pc\_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.baidujs][https_blog.csdn.net_zhu_wendao_article_details_89916869_utm_medium_distribute.pc_relevant.none-task-blog-2_7Edefault_7EBlogCommendFromMachineLearnPai2_7Edefault-1.baidujs_dist_request_id_depth_1-utm_source_distribute.pc_relevant.none-task-blog-2_7Edefault_7EBlogCommendFromMachineLearnPai2_7Edefault-1.baidujs]

from：[https://blog.csdn.net/weixin\_42933718/article/details/87983459][https_blog.csdn.net_weixin_42933718_article_details_87983459]

[https_blog.csdn.net_yangjiwei1234_article_details_90707872]: https://blog.csdn.net/yangjiwei1234/article/details/90707872
[20210331194003567.png]: /images/20221022/602e13f88de140bda3082efed983e013.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210331194028404.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 1]: /images/20221022/c803117aeabb468ca820130e5f847549.png
[underset_mu_rightarrow_mu _v_mu _p]: https://latex.codecogs.com/gif.latex?%5Cunderset%7B%5Cmu%7D%7B%5Crightarrow%7D%3D%28%5Cmu%20_v%2C%5Cmu%20_p%29
[sigma _2_sigma_2 _v_sigma_2 _p]: https://latex.codecogs.com/gif.latex?%5Csigma%20%5E2%3D%28%5Csigma%5E2%20_v%2C%5Csigma%5E2%20_p%29
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210331194739573.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210331194749759.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[Link 1]: https://en.wikipedia.org/wiki/Covariance_matrix
[Sigma]: https://latex.codecogs.com/gif.latex?%5CSigma
[Sigma _ij]: https://latex.codecogs.com/gif.latex?%5CSigma%20_%7Bij%7D
[Link 2]: https://en.wikipedia.org/wiki/Symmetric_matrix
[png.latex_5Cwidehat_7Bx_7Bk_7D_7D]: http://latex.codecogs.com/png.latex?%5Cwidehat%7Bx_%7Bk%7D%7D
[P_k]: https://latex.codecogs.com/gif.latex?P_k
[20210331195345194.png]: https://img-blog.csdnimg.cn/20210331195345194.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20210331195637287.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20210331195647774.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[F_k]: https://latex.codecogs.com/gif.latex?F_k
[20210331195929112.png]: https://img-blog.csdnimg.cn/20210331195929112.png
[20210331195956277.png]: https://img-blog.csdnimg.cn/20210331195956277.png
[2021033120022678.png]: https://img-blog.csdnimg.cn/2021033120022678.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20210331200349127.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20210331200401948.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20210331201302486.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[hat_x_k-1]: https://latex.codecogs.com/gif.latex?%5Chat%7Bx%7D_%7Bk-1%7D
[Q_k]: https://latex.codecogs.com/gif.latex?Q_k
[20210331201357767.png]: https://img-blog.csdnimg.cn/20210331201357767.png
[H_k]: https://latex.codecogs.com/gif.latex?H_k
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20210331201603714.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20210331201646663.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[20210331201939899.png]: https://img-blog.csdnimg.cn/20210331201939899.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20210331202002681.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20210331202039630.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[R_k]: https://latex.codecogs.com/gif.latex?R_k
[vec_z_k]: https://latex.codecogs.com/gif.latex?%5Cvec%7Bz%7D_k
[hat_x_k]: https://latex.codecogs.com/gif.latex?%5Chat%7Bx%7D_k
[hat_x_k_F_k_hat_x_k-1]: https://latex.codecogs.com/gif.latex?%5Chat%7Bx%7D_k%3DF_k*%5Chat%7Bx%7D_%7Bk-1%7D
[H_k_hat_x_k]: https://latex.codecogs.com/gif.latex?H_k%5Chat%7Bx%7D_k
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20210331202429619.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[14e6f1434db338b9f587d8dda228bbe9.png]: https://img-blog.csdnimg.cn/img_convert/14e6f1434db338b9f587d8dda228bbe9.png
[ed828fa627b142a6a6f97f5a24787616.png]: https://img-blog.csdnimg.cn/img_convert/ed828fa627b142a6a6f97f5a24787616.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20210331195506222.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20210331203301751.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[mu]: https://latex.codecogs.com/gif.latex?%5Cmu%20%5E%7B%27%7D
[20210331203333455.png]: https://img-blog.csdnimg.cn/20210331203333455.png
[20210331203402968.png]: https://img-blog.csdnimg.cn/20210331203402968.png
[png.latex_5Coverrightarrow_7B_5Cmu_20_7D]: http://latex.codecogs.com/png.latex?%5Coverrightarrow%7B%5Cmu%20%7D
[20210331203831725.png]: https://img-blog.csdnimg.cn/20210331203831725.png
[20210331211030739.png]: https://img-blog.csdnimg.cn/20210331211030739.png
[20210331211233873.png]: https://img-blog.csdnimg.cn/20210331211233873.png
[20210331210733853.png]: https://img-blog.csdnimg.cn/20210331210733853.png
[20210331210724327.png]: https://img-blog.csdnimg.cn/20210331210724327.png
[H_k_P_k]: https://latex.codecogs.com/gif.latex?H_k%2CP_k
[png.latex_H_7Bk_7D_5E_7BT_7D]: http://latex.codecogs.com/png.latex?H_%7Bk%7D%5E%7BT%7D
[20170318175636365]: https://img-blog.csdn.net/20170318175636365
[20170318175649850]: https://img-blog.csdn.net/20170318175649850
[20210331211200692.png]: https://img-blog.csdnimg.cn/20210331211200692.png
[https_blog.csdn.net_u010720661_article_details_63253509]: https://blog.csdn.net/u010720661/article/details/63253509
[20210331212516800.png]: https://img-blog.csdnimg.cn/20210331212516800.png
[sigma _2_x_yuce]: https://latex.codecogs.com/gif.latex?%5Csigma%20%5E2_%7Bx_%7Byuce%7D%7D
[sigma _2_x_ _guance]: https://latex.codecogs.com/gif.latex?%5Csigma%20%5E2_%7Bx_%20%7Bguance%7D%7D
[x_y_v_x_v_y]: https://latex.codecogs.com/gif.latex?%5Bx%2Cy%2Cv_x%2Cv_y%5D
[20210331213114450.png]: https://img-blog.csdnimg.cn/20210331213114450.png
[20210331213134506.png]: https://img-blog.csdnimg.cn/20210331213134506.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20210331214844122.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20210331222604476.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 18]: https://img-blog.csdnimg.cn/20210331223322809.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 19]: https://img-blog.csdnimg.cn/20210331223357970.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_lovebaby859450415_article_details_79082459]: https://blog.csdn.net/lovebaby859450415/article/details/79082459
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 20]: https://img-blog.csdnimg.cn/20210405192724890.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 21]: https://img-blog.csdnimg.cn/20210405192818564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 22]: https://img-blog.csdnimg.cn/20210405192839225.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 23]: https://img-blog.csdnimg.cn/20210405193008859.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_haxiongha_article_details_80862211]: https://blog.csdn.net/haxiongha/article/details/80862211
[20210331215443420.png]: https://img-blog.csdnimg.cn/20210331215443420.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 24]: https://img-blog.csdnimg.cn/20210331215511241.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 25]: https://img-blog.csdnimg.cn/20210331215652816.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 26]: https://img-blog.csdnimg.cn/20210331215707281.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3_size_16_color_FFFFFF_t_70 27]: https://img-blog.csdnimg.cn/20210331215722191.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMwODE1MjM3,size_16,color_FFFFFF,t_70
[rho _ _frac_Cov_X_Y_sigma_X_sigma_Y]: https://latex.codecogs.com/gif.latex?%5Crho%20%3D%20%5Cfrac%7BCov%28X%2CY%29%7D%7B%5Csigma_X%5Csigma_Y%7D
[6170679d581899c10b8e192648b30891.png]: https://img-blog.csdnimg.cn/img_convert/6170679d581899c10b8e192648b30891.png
[e5159652577c0c1189b31d93016c8b20.png]: https://img-blog.csdnimg.cn/img_convert/e5159652577c0c1189b31d93016c8b20.png
[6d931fc4c786710bf04347faf6c4d8e5.png]: https://img-blog.csdnimg.cn/img_convert/6d931fc4c786710bf04347faf6c4d8e5.png
[https_blog.csdn.net_zhu_wendao_article_details_89916869_utm_medium_distribute.pc_relevant.none-task-blog-2_7Edefault_7EBlogCommendFromMachineLearnPai2_7Edefault-1.baidujs_dist_request_id_depth_1-utm_source_distribute.pc_relevant.none-task-blog-2_7Edefault_7EBlogCommendFromMachineLearnPai2_7Edefault-1.baidujs]: https://blog.csdn.net/zhu_wendao/article/details/89916869?utm_medium=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.baidujs&dist_request_id=&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2~default~BlogCommendFromMachineLearnPai2~default-1.baidujs
[https_blog.csdn.net_weixin_42933718_article_details_87983459]: https://blog.csdn.net/weixin_42933718/article/details/87983459