异常检测（Anomaly detection）

妖狐艹你老母 2023-02-28 04:03 159阅读 0赞

### 目录 ###

*  问题动机
 *  高斯分布
 *  算法
 *  开发和评估异常检测系统
 *  异常检测.VS.监督学习
 *  选择要使用的功能
 *  多变量高斯分布
 *  使用多变量高斯分布的异常检测

# 问题动机 #

异常检测问题主要应用在非监督学习问题。

识别异常的样本。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70]  
异常检测采取的方法：

给定训练集，对数据建模即 p(x) ，也就是对样本的分布概率建模。

如果新样本带入算法得到的结果低于给定阈值，即为异常。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 1]  
异常检测算法的应用：

欺诈检测：对不同的用户活动，计算特征变量 x(i) ，然后可以建立一个模型来表示用户表现出各种行为的可能性，用来表示用户行为对应的特征向量出现的概率。

工业生产领域。

数据中心的计算机监控。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 2]

# 高斯分布 #

高斯分布也称为正态分布。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 3]  
改变参数：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 4]  
在机器学习中，人们习惯使用1/m，尽管不是1/(m-1)，但是只要数据集够多就区别不大，可以忽略。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 5]

# 算法 #

样本的概率值等于各特征量的概率值相乘，即使特征量之间的独立假设不成立，算法也能正常运行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 6]  
异常检测算法步骤：

①选择特征

②计算参数

③计算新样本为异常出错的概率值 p(x)，如果 p(x) < ε（阈值），则样本异常，反之，正常。（意思大概是，我判断这个样本为异常，我判断出错的概率很小，该样本就为异常）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 7]  
案例：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 8]

# 开发和评估异常检测系统 #

实数评估的重要性：它是当你为某个应用开发一个学习算法时，你需要进行一系列的选择，比如选择使用什么特征等等。如果你有某种方法通过返回一个实数来评估你的算法，那么对这些选择做出决定往往会容易的多。

比如你需要决定，现在有一个新的特征，该不该纳入这个特征？

如果你分别在纳入该特征和不纳入该特征运行算法，通过返回一个实数告诉你这个特征是好是坏，那么这样你就能简单选择是否纳入该特征。

尽管异常检测是一个非监督学习问题，但是数据中带有是否异常的标签，这就是我们认为的能够评估异常检测算法的标准方法。

训练样本是无标签的正常的，交叉验证集和测试集有标签用来评估。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 9]  
将样本集分类，不推荐交叉验证集和测试集一样（就是不推荐下图最后一种分配方式）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 10]  
推导和评估算法：

①用训练集拟合模型 p(x)

②在交叉验证集和测试集中进行预测

③因为异常检测问题中，大多数是正常的，只要少数异常；所以该问题属于偏斜类问题，用查全率，召回率，F1\-score评估算法。

④也可以用上述评估方法选择 ε 。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 11]

# 异常检测.VS.监督学习 #

异常检测算法：

当异常样本很少正常样本很多。

异常样本很少，并且异常情况在改变。

监督学习：

异常样本和正常样本都很多。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 12]  
异常检测运用场景：

网络销售的欺诈行为，产品制造等。

监督学习运用场景：

垃圾邮件识别，天气预测等。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 13]

# 选择要使用的功能 #

有些数据看起来不像高斯分布，我们会对数据进行一些处理（开方，log等），使得它像高斯分布。

如果数据不是高斯分布，也可以正常运行；但是进行数据转换后，使其像高斯分布效果更好。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 14]  
如何得到异常检测算法的特征？

在训练完成的算法上用交叉验证集，找到预测出错的样本，通过出错样本尝试创建一个新的特征，使得异常点在正常点之外的范围。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 15]  
监控数据中心的计算机的例子：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 16]

# 多变量高斯分布 #

根据之前的算法，下面的例子中，异常的点也会被检测为正常。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 17]  
改良后，多元高斯分布：

不对单个特征分布建模，对整体建模，所以参数 u 变成 n 维向量，参数 Σ 为 n\*n 的矩阵（协方差矩阵）。

多元高斯分布可以根据数据的相关性建模。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 18]  
Σ 衡量的是方差或者说是特征量的变化量，所以多元高斯图的形状随 Σ 的改变而改变。

以 2 维为例：

改变对角线的值：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 19]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 20]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 21]  
改变非对角线的值：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 22]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 23]  
u 改变中心的位置：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 24]

# 使用多变量高斯分布的异常检测 #

估计参数 u 和参数 Σ ：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 25]  
算法步骤：

①根据数据集拟合模型，求出 u 和 Σ 。

②预测新样本  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 26]  
原始的高斯分布模型是多元高斯分布模型的一种特殊情况，也就是说原始模型之中，Σ除了对角线之外，其他的元素都为0，所以原始模型的高斯分布图是关于 X 轴，Y 轴对称的，也就是说是多变量高斯分布的特例。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 27]  
对比：

原始高斯分布模型：

①使用更加频繁。

②在特征之间相关性较高的情况下需要创建新特征。

③适用于规模巨大的 n（特征量）。

④训练集较小也能运行。

多元高斯分布模型：

①能自动捕捉不同特征之间的关系。

②由于要计算逆矩阵，所以在 n 较小的情况下，计算速度快。

③必须保证 m > n（多元高斯分布模型合理使用原则，m >= 10n ）。

④Σ 不可逆的两种情况：第一种是不满足 m > n，第二种是有冗余特征（冗余特征：线性相关）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 28]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70]: /images/20230209/f23172e388f947f0939491842b59fe6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 1]: /images/20230209/9733df2481dc46b79915b6ea1d31d7ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 2]: /images/20230209/31a4c5e0723b4dfd8d42ec252dbd9158.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 3]: /images/20230209/24a3290fdf51499fac3bd68f9a118403.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 4]: /images/20230209/bce5ab2bceae443ea959d9622edff154.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 5]: /images/20230209/826dc090bd5543d59b6e4dee44a20455.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 6]: /images/20230209/396456bf46ec4f369eafc941f8495a69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 7]: /images/20230209/bb5783c49a34499bb8f62614c4dbcb8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 8]: /images/20230209/6125741280c04f7f9bdb43d483182416.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 9]: /images/20230209/8fe54240ed344a269e05973a0ecfdc86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 10]: /images/20230209/a193780ceb934aaca392fc17a9002fc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 11]: /images/20230209/d60cf3db675343c8a550a829371c3f13.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 12]: /images/20230209/0b156ffcb5c44a66b53e2ebc30f64319.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 13]: /images/20230209/4656f0fa670a4f68b632567b10cfb613.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 14]: /images/20230209/97ef363f0539469ca3383fbcdcf29824.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 15]: /images/20230209/3067136462b54986b0bed0082aefb725.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 16]: /images/20230209/18b7da2c438743d59abab887b12448c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 17]: /images/20230209/e05037cb0b2d4e12becb2e41b2b4d686.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 18]: /images/20230209/fde2ffdfb14141beb9c8a4d06b7fe9e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 19]: /images/20230209/2bbcf4e8a4644e5e82816e04cde5df21.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 20]: /images/20230209/37ef0f2bcf7646c8b22c723567d60aeb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 21]: /images/20230209/3df267a2c4674b12a6f8b3eefc7961db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 22]: /images/20230209/764e04848f4d4b878018fd040707e13e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 23]: /images/20230209/dc394e7570434ed08525451ba20f3a7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 24]: /images/20230209/cd7d5f56f1994b609f2ff2fc3c4523cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 25]: /images/20230209/a460be0f0f3b47d48d0ec09b2839c21f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 26]: /images/20230209/93753e67f3bc418e86738a09d3ce1cd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 27]: /images/20230209/7111353b9a0246ce93f1e3dec1d913ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTczNTI0Mg_size_16_color_FFFFFF_t_70 28]: /images/20230209/528fed48f4934f468b8467bfbf2d27d5.png