《异常检测——从经典算法到深度学习》11 ADS —— 针对大量出现的KPI流快速部署异常检测模型

谁借莪１个温暖的怀抱￠ 2022-11-08 14:18 148阅读 0赞

# 《异常检测——从经典算法到深度学习》 #

*  [0 概论][0]
 *  [1 基于隔离森林的异常检测算法 ][1 _]
 *  [2 基于LOF的异常检测算法][2 _LOF]
 *  [3 基于One-Class SVM的异常检测算法][3 _One-Class SVM]
 *  [4 基于高斯概率密度异常检测算法][4]
 *  [5 Opprentice——异常检测经典算法最终篇][5 Opprentice]
 *  [6 基于重构概率的 VAE 异常检测][6 _ VAE]
 *  [7 基于条件VAE异常检测][7 _VAE]
 *  [8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测][8 Donut_ _ VAE _ Web _ KPI]
 *  [9 异常检测资料汇总（持续更新&抛砖引玉）][9]
 *  [10 Bagel: 基于条件 VAE 的鲁棒无监督KPI异常检测][10 Bagel_ _ VAE _KPI]
 *  [11 ADS: 针对大量出现的KPI流快速部署异常检测模型][11 ADS_ _KPI]
 *  [12 Buzz: 对复杂 KPI 基于VAE对抗训练的非监督异常检测][12 Buzz_ _ KPI _VAE]
 *  [13 MAD: 基于GANs的时间序列数据多元异常检测][13 MAD_ _GANs]

相关：

*  [ VAE 模型基本原理简单介绍 ][VAE _]
 *  [ GAN 数学原理简单介绍以及代码实践 ][GAN _]

# 11 针对大量出现的KPI流快速部署异常检测模型 #

2018 Rapid Deployment of Anomaly Detection Models for Large Number of Emerging KPI Streams

[下载地址][Link 1]

本文的结构：

*  翻译部分；
 *  总结部分 。

# 针对大量出现的KPI流快速部署异常检测模型 #

> 2018 Rapid Deployment of Anomaly Detection Models for Large Number of Emerging KPI Streams
> 
> [下载地址][Link 1]

## Abstruct ##

基于互联网的服务通过对他们的应用和系统的 KPIs （关键性能指标，如CPU利用率、每秒查询数、响应延迟） 进行监控与异常检测，以保证服务可靠。本文提出了一个常见的、重要的、但研究较少的 KPI 异常检测问题：为大量出现的 KPI 流快速部署异常检测模型，无需手动选择算法、参数调整或为任何新出现的 KPI 流添加新的异常标记。我们提出了第一个框架ADS(Anomaly Detection through Self-training，通过自我训练进行异常检测)，通过聚类和半监督学习来解决上述问题。我们广泛使用真实数据，使用 70 个历史 KPI 集群中心的标签进行实验，实验表明，ADS 在81个新的 KPI 流上达到了平均最好 F-score 为 0.92，几乎和最先进的监督方法一样，平均比最先进的无监督方法高出 61.40 %。

## 11.1 INTRODUCTION ##

基于互联网的服务(例如，在线游戏、在线购物、社交网络、搜索引擎)监控其应用程序和系统的 KPI (Key Performance Indicators，比如CPU利用率、每秒查询数、响应延迟)，以保持其服务的可靠性。KPI 异常 (例如，KPI流中的峰值或下降) 可能表明互联网服务 \[1\]-\[5\] 上的潜在故障，如服务器故障、网络过载、外部攻击，并且应该准确和快速地检测到。

尽管在 KPI 异常检测\[2\]，\[6\]-\[12\] 方面有丰富的文献，但仍有一个常见且重要的场景没有被这些方法研究或很好地处理。具体来说,当大量的 KPI 流不断，经常出现，运营商为了避免网络服务受到假警报(由于低精度)和/或错过了警报(因为低召回),进而影响用户体验和收入，需要部署准确为这些新的 KPI 流异常检测模型尽快（例如，最多在3周内）。大量新的 KPI 流的出现是由于以下两个原因。首先，可以经常推出新产品，比如游戏平台。例如，在本文所研究的顶级游戏公司G中，平均每个季度有超过10款新游戏发布，平均每 10 天就会产生超过 6000 个新的 KPI 流。其次，随着 DevOps 和微服务的普及，\[13\] 的软件升级越来越频繁，很多都会导致现有 KPI 流的模式改变，使得以前的异常检测算法/参数过时。

遗憾的是，现有的异常检测方法，包括传统的统计算法、监督学习和无监督学习，都不能很好地处理上述场景。对于传统的统计算法\[6\]-\[9\]，为了达到最佳的精度，操作员必须为每个KPI流手动选择异常检测算法并调整其参数，这对于大量涌现的 KPI 流来说是不可行的。基于监督学习的方法\[2\]，\[10\]需要手工标记每个新的 KPI 流的异常，这对于大量出现的 KPI 流也是不可行的。基于无监督学习的方法\[11\]，\[12\]不需要算法选择、参数调优,或手动标签，但他们要么精度低\[14\]要么需要为每个新的 KPI 流准备大量的训练数据（例如，6个月的数据）\[12\]，这不满足快速部署的要求（例如，3周内）准确的异常检测。

在本文中，我们提出ADS，这是第一个能够为大量新出现的 KPI 流快速部署异常检测模型（最多3周）的框架，无需手动选择算法、参数调整或为任何新出现的 KPI流添加新的异常标记。

我们的 ADS 的想法是基于以下两个观测结果。（1）在实践中，许多 KPI 流（例如，在一个负载均衡良好的服务器集群中，每个服务器的查询数）由于它们隐式的关联和相似性而相似，因此我们有可能对这些相似的 KPI 流使用相似的异常检测算法和参数。（2）利用 ROCKA\[15\] 等聚类方法，可以将多个 KPI 流根据相似性聚类成簇。集群的数量很大程度上取决于服务的性质（如购物、游戏、社交网络、搜索）和 KPI 的类型（如查询次数、CPU使用率、内存使用率），而不是整个系统的规模。因此，对于给定的服务，集群的数量可以比 KPI 流的数量小几个数量级，并且新出现的 KPI 流很有可能是由历史 KPI 流产生的现有集群之一。

利用上述两个观察，ADS 提出（1）集群所有现有/历史 KPI 流到集群；（2）手动标签聚类集群中心的异常；（3）分配每个新兴 KPI 流到一个现有的集群；（4）结合新的 KPI 的数据流（标记）和集群重心（标记）和使用 半监督 学习\[16\] 为每个新的KPI流训练新模式。在半监督学习过程中，ADS 的基本模型是监督学习，如\[2\]，从而避免了算法的选择和参数的调整。只要这两个 KPI 流具有相似的数据分布（因为它们位于同一集群中），半监督学习就可以使用现有的已标记的 KPI 流来训练新 KPI 流的新模型。这样，ADS 就具备监督学习的好处，但只需要标记数量少得多的历史 KPI 流（即聚类中心），而不需要标记新的 KPI 流。由于准确度\[14\]较低或每个新的KPI流（例如，六个月的数据）\[12\]需要较长时间的数据，因此没有选择基于无监督学习的方法作为 ADS 的基础模型，但在第 4 节中仍将其与ADS 进行了比较。

本文的贡献总结如下：

*  据我们所知，本文是第一个针对大量新兴KPI流快速部署异常检测模型的常见和重要问题，而没有针对任何新生成的KPI流进行手动算法选择、参数调整或新的异常标记，并提出了第一个解决该问题的框架 ADS。
 *  据我们所知，本文首次将半监督学习应用于 KPI 异常检测问题。我们采用了一种鲁棒的半监督学习模型 —— 对比悲观似然估计（contrastive pessimistic likelihood estima-  
    tion，CPLE），它适用于 KPI 异常检测，并且只需要在已标记的 KPI 流和新的 KPI 流之间有相似（不一定相同）的数据分布。
 *  我们使用来自全球顶级在线游戏服务公司的 70 个历史 KPI 流和81个新的 KPI 流进行了广泛的实验。仅使用70个历史 KPI 流的5个聚类中心的标签，ADS在81个新的 KPI 流上获得了 0.92 的平均最佳分数，几乎与要求所有 81 个新的 KPI 流都有标签的最先进的监督方法\[2\]相同，并且平均值大大优于无监督方法隔离森林\[14\] 360% 和最先进的无监督方法 Donut\[12\] 61.4%。
    
    本文的其余部分组织如下。在第二节，我们回顾了背景，相关工作和动机。第三节介绍了 ADS 标准的框架。我们在第四节中报告了评估 ADS 的实验结果。最后，在第五部分给出了本文的结论。

## 11.2 BACKGROUND ##

### A. 对 KPI 流的异常检测 ###

基于互联网服务的 KPI 流是一个格式为 （timestamp，value）的时间序列。它本来是用于监控通过简单网络管理协议（Simple Network Management Protocol，SNMP），系统日志（syslog）、web访问日志或其他数据源\[17\]-\[19\]方式收集的数据。 它可以这样表示： x t − m + 1 , . . . , x t x\_\{t-m+1\},...,x\_t xt−m\+1,...,xt，其中  x i x\_i xi 是指在  i i i 时刻的检测值， i ∈ \[ t − m + 1 , t \] i \\in \[t-m+1,t\] i∈\[t−m\+1,t\]， t t t 是指当前时刻， m m m 是指 KPI 流的长度。

KPI 流的异常数据点通常具有不同于正常数据点的数据特征。例如，KPI 流中的峰值、水平偏移或下降可能表明异常。**图1** 展示了其中三个例子。对 KPI 流  x t − m + 1 , . . . , x t x\_\{t-m+1\},...,x\_t xt−m\+1,...,xt 的异常检测是指判断  x t x\_t xt 是不是某个异常数据点（  y t = 1 y\_t=1 yt=1 表示异常而  y t = 0 y\_t=0 yt=0表示正常）。

大多数异常检测算法，包括传统的统计算法、基于监督学习的方法和基于非监督学习的方法，计算数据点的异常分数来表示该数据点异常的可能性。然后，操作员设置一个阈值来确定每个数据点是否异常。也就是说，只有当  t t t 时刻的异常分数超过该阈值时， x t x\_t xt 才会被视为异常数据点。

从上面的定义中，我们可以看到，KPI 流的异常检测本质上是一个二分类问题 —— 将一个数据点分类为异常数据点或正常数据点。因此，我们可以使用两类分类方法的直观分类度量，包括精度、召回率和 F-score 来评估异常检测算法的性能。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70]

### B. KPI 流的异常检测方法 ###

KPI 流的异常检测处理从正常行为中识别异常数据点的任务。多年来，各种传统的统计算法被应用于 KPI 异常检测，包括 SVD\[6\]、Wavelet\[7\]、ARIMA \[8\]、时间序列分解（Time Series Decomposition）\[1\]、Holt-Winters\[9\] 等。上述每种算法都是基于简单的统计假设来计算 KPI 流中每个数据点的异常分数。为了获得最佳的准确性，操作员必须手动选择异常检测算法，并为每个KPI流调整其参数。由于经常需要仔细监控大量新出现的 KPI 流\[13\]，因此对每个新出现的 KPI 流进行手动算法选择和参数调整变得不可行。

为了解决算法选择和参数调整带来的问题，已经提出了几种基于监督学习的方法，例如 EGADS \[10\]和Oppertinice\[2\]。对于每个 KPI 流，这些方法从操作员手动标记的 KPI 异常中学习(传统的统计)算法选择和参数调整。显然，对大量新出现的KPI流进行人工异常标记也是不可行的。

无监督学习在 KPI 异常检测中已成为一个很有前途的领域。例如，基于隔离的方法 \[11\] 和变分自编码（VAE） \[12\]被应用于检测（KPI）流中的异常。这些方法是在没有人工标记的情况下训练的，因此它们可以应用于大量的 KPI 流。然而，基于隔离的方法精度较低 \[14\] (详见第四节)。此外，基于 VAE 的Donut \[12\] 要求对新出现的 KPI 流进行长时间（比如 6 个月）的数据训练。在此期间，基于互联网的服务可能会出现误报（由于精确度低）或 漏报（由于召回率低），进而影响用户体验和收入。

如上所述，现有的KPI流的异常检测算法受到手动算法选择和参数调整（传统的统计算法），或手动异常标记（基于监督学习的方法），或现实世界中基于互联网的服务的低精度（基于监督学习的方法，如隔离森林\[11\]），或新生成的 KPI 流的长时间训练（基于监督学习的方法，如 Donut\[12\])。

半监督学习\[16\] 介于监督学习和非监督学习之间。它使用未标记的数据来修改参数或仅从标记数据获得的模型，以最大化学习性能。\[20\]–\[22\]在其他领域使用半监督学习进行异常检测，但不是为 KPI 流（时间序列）设计的。

### C. Clustering of KPI Streams ###

数百万条 KPI 流给 KPI 异常检测带来了巨大的挑战。幸运的是，许多 KPI 流是相似的，因为它们有隐含的关联和相似性。例如，**图2** 显示了从两个不同的应用程序收集的响应延迟的两个 KPI 流，这两个KPI 流在形状上非常相似。如果我们能够识别相似的 KPI 流，并将大量的 KPI 流分组到几个簇中，我们就可以减少异常检测的开销。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 1]

时间序列聚类是近20年来备受关注的一个热门领域。\[23\] 总结了关于这个主题的大量方法，其中大多数是为平滑和理想化的数据而设计的。然而，KPI 流中的大量尖峰、低谷和水平偏移会显著改变 KPI 流的形状。因此，上述方法对 KPI 流没有很好的效果。

在这项工作中，我们采用了 ROCA\[15\]，一种基于形状的 KPI 流快速聚类算法。它应用了滑动平均提取成功降低噪声和异常偏差的 Baseline。此外，它使用基于形状的距离作为距离度量，并使用快速 傅立叶变换（Fast Fourier Transform） 将其算法复杂度降低到  O ( m log ⁡ ( m ) ) O(m\\log(m)) O(mlog(m)) 。最后，它使用数据库扫描对 KPI 流进行聚类，并为每个聚类选择集群中心。在\[15\]中进行的大量实验证明了ROCKA在为大型基于互联网的服务聚类KPI流方面的卓越性能。请注意，将ROCKA应用于聚类KPI流不是我们的贡献。最后，它使用数据库扫描对 KPI 流进行聚类，并为每个聚类选择集群中心。在 \[15\] 中进行的大量实验证明了 ROCKA 在为大型基于互联网的服务聚类KPI流方面的卓越性能。请注意，将 ROCKA 应用于聚类KPI 流不是我们的贡献。

## 11.3. FRAMEWORK OF ADS ##

如上所述，我们提出了基于半监督学习的 KPI 流异常检测框架 ADS，以解决为大量新兴 KPI 流快速部署异常检测模型的问题，而无需为任何新生成的 KPI 流手动选择算法、调整参数或新的异常标记。

**图3** 展示了 ADS 的框架。对于历史 KPI 流，自动数据挖掘系统通过填充缺失点和标准化对其进行预处理，使用 ROCKA 对预处理后的 KPI 流进行聚类（第3节-A），并在聚类中心提取 KPI 流的特征（即不同异常检测算法和参数的输出结果）（第3节-B）。同样，当一个新的 KPI 流生成时，ADS 系统对其进行预处理，并将其分类到上述聚类之一（第3节-A），然后提取该新的 KPI 流的特征（第3节-B）。基于新的 KPI 流的特征以及新的 KPI 流的聚类集群中心的特征和标签，自动数据挖掘系统使用 CPLE 算法训练半监督学习模型（第3节）。最后，自动数据采集系统根据上述模型和严重度阈值（此后称为阈值）检测新的 KPI 流中的异常。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 2]

### A. Preprocessing and Clustering ###

在基于互联网的服务中，监控系统故障和/或操作员错误配置虽然不常发生，但会导致 KPI 流中的缺失点。这些缺失的点会给 ADS 带来显著的偏差。因此，我们按照 \[15\] 使用线性插值来填充这些缺失的点。

此外，为了使不同幅度和长度尺度的 KPI 流具有可比性，我们还对 KPI 流进行了标准化。这样，不同的 KPI 流将根据其形状进行聚类，而不是振幅和长度比例的绝对值。

如第2章 C 部分所讨论的，ADS 采集系统采用 ROCA\[15\] 将 KPI 流分成几个聚类，并为每个聚类获得一个集群中心 KPI 流。

### B. Feature Extraction ###

在基于历史数据进行训练时，由于每个聚类集群中心上的 KPI 流代表了聚类的特征，因此我们提取每个聚类集群中心上的 KPI 流的特征。此外，当基于新数据进行训练时，我们提取新生成的 KPI 流的特征。新的 KPI 流的特征、新的 KPI 流的聚类集群中心的特征和异常标签一起形成训练集。

这里我们介绍如何提取 KPI 流的特征。与\[2\]一样，我们使用不同异常检测器的输出结果（即异常检测器测量的异常严重程度）作为 KPI 流的特征。这样，每个检测器都充当一个特征提取器。

当异常检测器接收到KPI流的输入数据点时，它会在内部生成一个非负值，称为严重性，以衡量该数据点的异常程度。例如，基于KPI流数据遵循高斯分布的假设，历史平均值 \[24\] 将该点偏离平均值的标准偏差次数作为严重性；Holt-Winters \[9\] 使用残差(即每个数据点的实际值和预测值之间的绝对差异)来测量严重性。此外，大多数异常检测器是参数化的，并且具有一组内部参数（比如，历史平均值具有一个窗口长度参数，而 Holt-Winters 具有三个参数\{  α , β , γ \\alpha,\\beta,\\gamma α,β,γ\}）。因此，检测器及其内部参数决定了给定数据点的严重性。

在这项工作中，对于每个（参数化的）异常检测器，ADS 对其参数进行采样，以生成一个或多个“固定的” 异常检测器。这样，具有特定采样参数的异常检测器充当特征提取器，如下所示:

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 3]

ADS 中的特征提取、训练和分类（检测）都是针对单个数据点而设计的，而不是针对异常窗口，这样半监督学习算法就可以有足够的数据进行训练。这种设计选择的另一个好处是分类器可以快速检测每个数据点上的异常。

继 \[2\] 之后，我们在ADS中实现了14个广泛使用的异常检测器。所有14个异常检测器及其样本参数如**表1** 所示。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 4]

### C. Semi-Supervised Learning ###

在对聚类中心上已标记的 KPI 流和未标记的新 KPI 流提取异常检测器特征后，我们尝试学习一个基于已标记和未标记数据的模型，即半监督学习模型。

如\[16\] 所总结的，不同的半监督学习模型有不同的优点和缺点。在这些方法中，基于自训练的方法\[20\] 应用现有模型来 “标记” 未标记的数据，并使用新标记的数据和实际标记的数据来重新训练模型，直到预测结果不再改变或迭代结束。

在这项工作中，我们采用了 CPLE \[28\]，自训练的延伸模式。CPLE 是一个弹性的半监督学习框架，适用于任何监督学习分类器（此后称为基本模型），包括随机森林、SVM、决策树等。它以基本模型的预测概率为输入，充分利用未标记数据。CPLE 有以下三个优势：

*  CPLE 可以灵活地改变基本模型，因此我们可以设置其基本模型来实现异常检测的最佳精度。
 *  CPLE 需要较低的内存复杂度，而基于图形的方法\[29\]需要0(N2)的内存复杂度。
 *  CPLE 比其他半监督学习算法更稳健，因为它不需要强假设，例如（1）对标记和未标记数据的数据分布的精确估计（如具有生成混合模型的期望最大化算法所要求的\[30\]）和（2）低密度（如直推SVM \[31\]所要求的）。
 *  CPLE 支持增量学习。因此，当越来越多的数据点被添加到一个 KPI 流中时，我们可以不断地训练ADS 来提高其准确性。

如下所示，ADS 应用 CPLE 对 KPI 流进行异常检测。对于一个带有参数  θ \\theta θ 的基本模型  f ( x ) f(x) f(x) （一个监督学习二分类模型），可以用形式  f ( x ; θ ) ∈ \{ 0 , 1 \} f(x;\\theta) \\in \\\{0,1\\\} f(x;θ)∈\{ 0,1\} 来表示。然后基本模型将数据视为异常的概率为  g ( x ; θ ) = p ( f = 1 ∣ x , θ ) g(x;\\theta)=p(f=1|x,\\theta) g(x;θ)=p(f=1∣x,θ) ，其中  g ( x ; θ ) ∈ \[ 0 , 1 \] g(x;\\theta) \\in \[0,1\] g(x;θ)∈\[0,1\]。 此外，二分类器的负对数损失通常以如下格式计算：

![在这里插入图片描述][20210313212934323.png]

其中， N N N 是训练集的 KPI 流中的数据点的数量， y i y\_i yi 是第  i i i个数据点的标签， p i p\_i pi 是第  i i i 个判别似然性(discriminative likelihood，DL) \[32\]。通常，机器学习模型的目标是最大化负对数损失。

对于训练集中未标记的数据点（即新生成的 KPI 流的数据点），我们随机为第  i i i 个数据点分配一个权重。CPLE 的目标是最小化函数

![在这里插入图片描述][20210313212942597.png]

其中  X X X 是已标记的数据集， U U U 是未标记数据点之一， y ′ = H ( q ) y'=H(q) y′=H(q) ，而

![在这里插入图片描述][20210313212955346.png]

其中， i ∈ \{ 1 , . . . , ∣ U ∣ \} i\\in\\\{1,...,|U|\\\} i∈\{ 1,...,∣U∣\} 。

这样，用作异常检测模型的基础模型的（参数向量  θ \\theta θ）基于的  ( X ∪ U ) (X \\cup U) (X∪U)，使用了使用了真实与假设标签  ( y ∪ y ′ ) (y \\cup y') (y∪y′) 以及数据点  w w w 的权重来训练，其中

![在这里插入图片描述][20210313213009246.png]

其中， i ∈ \{ 1 , . . . , ∣ U ∣ \} i\\in\\\{1,...,|U|\\\} i∈\{ 1,...,∣U∣\} 。

在这项工作中，我们应用随机森林 作为 CPLE 的基本模型，因为它简单，并行，内存使用量低，类似于 Oppertinice\[2\]。我们并不认为采用随机森林模型是我们的贡献。

## 11.4 其他部分 ##

为了避免篇幅过长，其他部分翻译内容请前往个人博客 [https://smileyan.cn/\#/ad/ADS][https_smileyan.cn_ad_ADS]。

## 11.5 论文可参考部分 ##

在之前的论文中，除了经典算法中的 Opprentice ，都是基于某一种算法的研究以及改进，或者说把某种模型应用于异常检测这个场景中，这篇论文的 **意义** 在于：如果希望编写异常检测方面论文的时候，没有找到合适的切入点，可以考虑从编写一个基于框架(Framework) 的异常检测算法，就像这篇论文一样。当然，同样需要注重一些理论部分。

## 11.6 论文总结 ##

这篇论文并没有提供源码，也没有提供数据集下载地址。还有就是可以发现论文最后的参考文献居然也有乱序的问题。可以阅读原文查看参考文献的 第 12 篇、 第13篇以及第14篇的位置。

但是不管怎么说，论文总体而言还是值得大致读一下的，尤其是在如果自己需要写类似的内容时（研究对象是 Framework）。

并且这篇论文是基于经典算法（隔离森林）研究开发的，实验证明 ADS 超过了 Donut 与 opprentice 。但是在不提供源码与数据集来源的情况下，想跑一下看看效果是很难的。另外这篇论文介绍的是半监督学习算法，特别值得一提的是，在绝大多数论文中，对某一个特定的 KPI 的异常检测一般需要拿到这个 KPI 的训练数据进行训练，而这篇论文通过 70 个 KPI 数据进行训练，却能够检测 81 个 KPI 的异常。这是绝大部分算法都做不到的——当然，这个也跟数据集来源以及数据集之间的相似程度有关。

总而言之希望去复现这篇论文提到的算法是非常难的（除非论文作者能主动提供），并且除非自己设计的也是基于 Framework 并且同样应用于大量的 KPI 流时，才方便选择做对比实验。最主要的还是应该通过这篇论文大致学习一下会议论文的结构，表述方式，基本内容布局等等内容吧。

如果找到了这篇论文对应的源码或者数据集，请在后面留言，共同观摩学习交流，万分感谢！

**感谢** 您的 **阅读**、**点赞**、**收藏** 和 **评论** ，别忘了 还可以 **关注** 一下哈，**感谢** 您的支持！

> Smileyan  
> 2021.3.13 21:49

[0]: https://blog.csdn.net/smileyan9/article/details/106239187
[1 _]: https://blog.csdn.net/smileyan9/article/details/106249594
[2 _LOF]: https://blog.csdn.net/smileyan9/article/details/106296832
[3 _One-Class SVM]: https://blog.csdn.net/smileyan9/article/details/106351651
[4]: https://smileyan.blog.csdn.net/article/details/106398233
[5 Opprentice]: https://blog.csdn.net/smileyan9/article/details/106587227
[6 _ VAE]: https://blog.csdn.net/smileyan9/article/details/109255466
[7 _VAE]: https://blog.csdn.net/smileyan9/article/details/109508502
[8 Donut_ _ VAE _ Web _ KPI]: https://blog.csdn.net/smileyan9/article/details/112307506
[9]: https://smileyan.blog.csdn.net/article/details/113728611
[10 Bagel_ _ VAE _KPI]: https://smileyan.blog.csdn.net/article/details/113463339
[11 ADS_ _KPI]: https://smileyan.blog.csdn.net/article/details/114763060
[12 Buzz_ _ KPI _VAE]: https://smileyan.blog.csdn.net/article/details/116106826
[13 MAD_ _GANs]: https://smileyan.blog.csdn.net/article/details/118312582
[VAE _]: https://smileyan.blog.csdn.net/article/details/107362252
[GAN _]: https://smileyan.blog.csdn.net/article/details/115307274
[Link 1]: https://www.researchgate.net/publication/333072220_Rapid_Deployment_of_Anomaly_Detection_Models_for_Large_Number_of_Emerging_KPI_Streams
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70]: /images/20221023/d1c75fe3b5d342bc9a120193dda18e6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 1]: /images/20221023/63ba9bf3584143cdb41c9dc05301acb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 2]: /images/20221023/d6fe37c8a2c8477b9ad1e419f3d66b2f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 3]: /images/20221023/e504df2653ae413485782d85f23eabd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NtaWxleWFuOQ_size_16_color_FFFFFF_t_70 4]: /images/20221023/503a94d5d1c741e494b4844166e31152.png
[20210313212934323.png]: /images/20221023/1629b6e7919a446e9d01cbf114b10453.png
[20210313212942597.png]: /images/20221023/66a815a2f77141d39a00ccb1b58a5129.png
[20210313212955346.png]: /images/20221023/f1fa9a4cde2d4042a6455385813333f9.png
[20210313213009246.png]: /images/20221023/576115421e7b4caa8c0e3683aa26d55b.png
[https_smileyan.cn_ad_ADS]: https://smileyan.cn/#/ad/ADS