基于OpenAPI工具包以及LSTM的CDN网络流量预测

小咪咪 2024-05-06 09:45 44阅读 0赞

### 基于LSTM的CDN网络流量预测 ###

本案例是基于英特尔CDN以及英特尔 OpenAPI Intel® Extension for TensorFlow\* Intel@ oneAPIDPC++ Library 的网络流量预测，CDN是构建在现有网络基础之上的智能虚拟网络，目的是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。CDN智能调度中的流量分配算法、95调度算法与错峰调度等算法的有效性高度依赖域名流量的趋势，若能较为准确的预测域名流量的趋势，则可以提升调度算法的效果。与此类似的还有零售预测、供需预测等相关场景。

时间序列预测按数据及场景类别主要可分为单元时序预测(单变量)、多元时序预测、单步预测(预测)、多步预测几类。时间序列预测算法有基于统计的、基于机器学习的和基于深度学习的等等。  
本文根据实际场景(单元多步时序预测)，针对多线路预测问题，从数据分析到模型预测，采用LSTM，端到端实现CDN网络流量预测模型。

### 实验步骤 ###

1.代码和数据集  
本案例使用的数据集是来自于脱敏过的CDN网络流量预测项目数据集，因此数据及模型精度较真实效果有点偏差，打开压缩包后使用代码和数据集

2 查看数据  
构建任何模型之前，都需要先对数据集进行分析，了解数据集的规模、属性名、属性值等情况。因为我们要先了解数据，才能用好数据

2.1 读取csv文件  
pandas是常用的python数据分析模块，我们先用它来加载数据集中的csv文件。以time\_series\_1.csv为例，我们先加载该文件来分析数据的情况

import pandas as pd
    df_data = pd.read_csv("./network_traffic_forecast/data/time_series_1.csv")

2.2 查看单个csv文件数据的规模

print('单个csv文件数据的规模，行数：%d, 列数：%d' % (df_data.shape[0], df_data.shape[1]))

单个csv文件数据的规模，行数：68601, 列数：4

2.3 查看前20行数据  
使用pandas加载csv后，得到的是一个DataFrame对象，可以理解为一个表格，调用该对象的head()函数，我们查看一下该表格的头20行数据

df_data.head(20)

.dataframe tbody tr th {
        
        vertical-align: top;
    }
    
    .dataframe thead th {
        
        text-align: right;
    }

![在这里插入图片描述][2b61255783c0482b8960394ca58c9587.png]

如上所示是表格的头20行数据，表头是属性名，属性名下面是属性值，各属性含义如下：

属性名 属性含义  
![TimePoint	Unix时间戳 att1	区域 att2	运营商 Value	流量值(GB)][TimePoint_Unix_ att1_ att2_ Value_GB]

2.3.1 查看单条线路数据情况

df_data[(df_data['att1'] == 0) & (df_data['att2'] ==0)]

.dataframe tbody tr th {
        
        vertical-align: top;
    }
    
    .dataframe thead th {
        
        text-align: right;
    }

![TimePoint	att1	att2	Value 0	1592496000	0	0	1.683235e+08 12	1592496060	0	0	7.017834e+07 24	1592496120	0	0	5.218320e+07 36	1592496180	0	0	4.973728e+07 48	1592496240	0	0	2.627043e+07 60	1592496300	0	0	2.516527e+07 72	1592496360	0	0	5.241541e+04 84	1592496420	0	0	5.126166e+02 92	1592496480	0	0	1.253282e+03 104	1592496600	0	0	1.975488e+02 119	1592496720	0	0	6.139325e+02 136	1592496900	0	0	5.598084e+03 147	1592496960	0	0	2.088519e+03 190	1592497320	0	0	8.426582e+02 199	1592497380	0	0	2.255806e+04 210	1592497440	0	0	1.048735e+04 218	1592497500	0	0	4.599218e+03 229	1592497560	0	0	5.261509e+02 237	1592497620	0	0	1.098636e+02 256	1592497740	0	0	1.977122e+02 274	1592497920	0	0	6.781617e+02 282	1592497980	0	0	9.741788e+01 292	1592498040	0	0	5.603992e+03 303	1592498100	0	0	4.493011e+02 313	1592498160	0	0	1.461330e+03 321	1592498220	0	0	2.241611e+03 326	1592498280	0	0	1.335533e+03 331	1592498340	0	0	3.136885e+02 340	1592498460	0	0	3.227209e+02 347	1592498520	0	0	2.783268e+02][TimePoint_att1_att2_Value 0_1592496000_0_0_1.683235e_08 12_1592496060_0_0_7.017834e_07 24_1592496120_0_0_5.218320e_07 36_1592496180_0_0_4.973728e_07 48_1592496240_0_0_2.627043e_07 60_1592496300_0_0_2.516527e_07 72_1592496360_0_0_5.241541e_04 84_1592496420_0_0_5.126166e_02 92_1592496480_0_0_1.253282e_03 104_1592496600_0_0_1.975488e_02 119_1592496720_0_0_6.139325e_02 136_1592496900_0_0_5.598084e_03 147_1592496960_0_0_2.088519e_03 190_1592497320_0_0_8.426582e_02 199_1592497380_0_0_2.255806e_04 210_1592497440_0_0_1.048735e_04 218_1592497500_0_0_4.599218e_03 229_1592497560_0_0_5.261509e_02 237_1592497620_0_0_1.098636e_02 256_1592497740_0_0_1.977122e_02 274_1592497920_0_0_6.781617e_02 282_1592497980_0_0_9.741788e_01 292_1592498040_0_0_5.603992e_03 303_1592498100_0_0_4.493011e_02 313_1592498160_0_0_1.461330e_03 321_1592498220_0_0_2.241611e_03 326_1592498280_0_0_1.335533e_03 331_1592498340_0_0_3.136885e_02 340_1592498460_0_0_3.227209e_02 347_1592498520_0_0_2.783268e_02]

… … … … …

5717 rows × 4 columns

如上所示，以att1=0，att2=0 查看单条线路\{区域，运营商\}数据情况，可以看到数据是1min采样一次，共4天。

2.3.2 查看数据时序性情况  
画出每条线路数据曲线图，根据曲线图判断数据时序性

import time
    import matplotlib.pyplot as plt
    from intel_tensorflow import IETensor
    
    # 使用 Intel 的工具包 tensorflow
    
    # 假设 df_data 包含 'att1', 'att2', 'TimePoint', 'Value' 列
    # 如果列名不同，请修改下面的代码以匹配实际的列名
    
    # 将时间戳转换为可读的时间格式
    df_data["TimePoint"] = df_data["TimePoint"].apply(lambda x: time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(x)))

# 将数据按 'att1' 和 'att2' 分组，并绘制曲线图
    fig, ax = plt.subplots(figsize=(20, 10))
    
    for name, group in df_data.groupby(["att1", "att2"]):
        # 使用 Intel 工具包进行加速或优化操作，例如 IETensor 类
        x = IETensor(group['TimePoint'].values)
        y = IETensor(group['Value'].values)
    
        ax.plot(x, y, label=name)
    
    plt.title('每条线路数据曲线图 (使用 Intel 工具包)')
    plt.xlabel('时间')
    plt.ylabel('数值')
    plt.legend()
    plt.show()
    
    
    df_data.groupby(["att1","att2"]).describe()
    
    print(df_data['Value'].min())
    print(df_data['Value'].max())

INFO:matplotlib.font_manager:font search path ['/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/ttf', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/afm', '/home/ma-user/anaconda3/envs/Pytorch-1.0.0/lib/python3.6/site-packages/matplotlib/mpl-data/fonts/pdfcorefonts']
    
    INFO:matplotlib.font_manager:generated new fontManager
    att1  att2
    
    0     0       AxesSubplot(0.125,0.125;0.775x0.755)
    
          1       AxesSubplot(0.125,0.125;0.775x0.755)
    
          2       AxesSubplot(0.125,0.125;0.775x0.755)
    
    1     0       AxesSubplot(0.125,0.125;0.775x0.755)
    
          1       AxesSubplot(0.125,0.125;0.775x0.755)
    
          2       AxesSubplot(0.125,0.125;0.775x0.755)
    
    2     0       AxesSubplot(0.125,0.125;0.775x0.755)
    
          1       AxesSubplot(0.125,0.125;0.775x0.755)
    
          2       AxesSubplot(0.125,0.125;0.775x0.755)
    
    3     0       AxesSubplot(0.125,0.125;0.775x0.755)
    
          1       AxesSubplot(0.125,0.125;0.775x0.755)
    
          2       AxesSubplot(0.125,0.125;0.775x0.755)
    
    Name: Value, dtype: object

![在这里插入图片描述][ee9fa0fb63324deab3dd417b4e00952e.png]

时间序列数据构成要素：长期趋势，季节变动，循环变动，不规则变动。

1.  长期趋势（T）现象在较长时期内受某种根本性因素作用而形成的总的变动趋势。
2.  季节变动（S）现象在一年内随着季节的变化而发生的有规律的周期性变动。
3.  循环变动（C）现象以若干年为周期所呈现出的波浪起伏形态的有规律的变动。
4.  不规则变动（I）是一种无规律可循的变动，包括严格的随机变动和不规则的突发性影响很大的变动两种类型。  
    分析：

如上图所示，是将数据按照(att1，att2)分组后，每条线路的曲线示意图，图上每条曲线则对应不同的线路，横轴为时间，纵轴为单条线路对应的Value值。根据图中曲线及以上时间序列数据特点，可得出以下结论：

*  数据存在周期性 每天一个周期，同一线路各周期间数据范围大致相同，不存在趋势性，季节性由于数据较少，暂看不出来，
 *  共31个区域，每个\{区域，运营商\}\]对应一条具体的线路，即共31\*3条线路 每条线路大致趋势相同，但是量级不一样 需要进行归一化  
    数据峰值处波动较大，其余部分较平缓
 *  整体数据质量较好，不需要进行数据平滑等使得数据变平稳的操作，后续建模预测未来10min，将主要依赖待预测点前一段时序数据进行预测。
 *  数据中无明显脱离整体趋势范围的异常值。  
    2.4 数据分析  
    查看数据的统计值及空值情况

df_data.groupby(["att1","att2"]).describe()

.dataframe tbody tr th {
        
        vertical-align: top;
    }
    
    .dataframe thead tr th {
        
        text-align: left;
    }
    
    .dataframe thead tr:last-of-type th {
        
        text-align: right;
    }

<table> 
 <thead> 
  <tr> 
   <th>att1</th> 
   <th>att2</th> 
   <th>count</th> 
   <th>mean</th> 
   <th>std</th> 
   <th>min</th> 
   <th>25%</th> 
   <th>50%</th> 
   <th>75%</th> 
   <th>max</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>0</td> 
   <td>5717</td> 
   <td>2.756998e+08</td> 
   <td>1.471390e+08</td> 
   <td>85.107962</td> 
   <td>1.608420e+08</td> 
   <td>2.940786e+08</td> 
   <td>3.754438e+08</td> 
   <td>6.095700e+08</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>0</td> 
   <td>5686</td> 
   <td>5.480488e+07</td> 
   <td>2.756697e+07</td> 
   <td>51.327340</td> 
   <td>3.322805e+07</td> 
   <td>5.950805e+07</td> 
   <td>7.381292e+07</td> 
   <td>1.162919e+08</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>0</td> 
   <td>5724</td> 
   <td>2.188223e+08</td> 
   <td>1.181942e+08</td> 
   <td>65.711383</td> 
   <td>1.333125e+08</td> 
   <td>2.329354e+08</td> 
   <td>2.915056e+08</td> 
   <td>5.042825e+08</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>1</td> 
   <td>5715</td> 
   <td>1.861563e+07</td> 
   <td>9.069485e+06</td> 
   <td>38.332234</td> 
   <td>1.034681e+07</td> 
   <td>2.209178e+07</td> 
   <td>2.592819e+07</td> 
   <td>3.338421e+07</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>2</td> 
   <td>5725</td> 
   <td>1.258266e+08</td> 
   <td>6.321933e+07</td> 
   <td>4.381480</td> 
   <td>6.769589e+07</td> 
   <td>1.459575e+08</td> 
   <td>1.770747e+08</td> 
   <td>2.377960e+08</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>2</td> 
   <td>5746</td> 
   <td>5.218107e+07</td> 
   <td>2.650715e+07</td> 
   <td>4.772777</td> 
   <td>2.804430e+07</td> 
   <td>6.088992e+07</td> 
   <td>7.308530e+07</td> 
   <td>9.835380e+07</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>0</td> 
   <td>5732</td> 
   <td>1.179337e+08</td> 
   <td>6.204479e+07</td> 
   <td>36.191396</td> 
   <td>6.684485e+07</td> 
   <td>1.292305e+08</td> 
   <td>1.580988e+08</td> 
   <td>2.522959e+08</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>1</td> 
   <td>5696</td> 
   <td>3.024132e+07</td> 
   <td>1.488895e+07</td> 
   <td>49.353860</td> 
   <td>1.792033e+07</td> 
   <td>3.356871e+07</td> 
   <td>4.138216e+07</td> 
   <td>5.848370e+07</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>2</td> 
   <td>5756</td> 
   <td>1.024740e+08</td> 
   <td>5.487324e+07</td> 
   <td>146.927647</td> 
   <td>5.985492e+07</td> 
   <td>1.095121e+08</td> 
   <td>1.376453e+08</td> 
   <td>2.203716e+08</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>0</td> 
   <td>5708</td> 
   <td>1.271339e+08</td> 
   <td>6.343431e+07</td> 
   <td>109.510294</td> 
   <td>7.234194e+07</td> 
   <td>1.381774e+08</td> 
   <td>1.783945e+08</td> 
   <td>2.426037e+08</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>1</td> 
   <td>5711</td> 
   <td>4.340486e+07</td> 
   <td>2.045753e+07</td> 
   <td>6.857371</td> 
   <td>2.588623e+07</td> 
   <td>4.660798e+07</td> 
   <td>6.067043e+07</td> 
   <td>7.981218e+07</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>2</td> 
   <td>5685</td> 
   <td>1.991225e+08</td> 
   <td>9.818788e+07</td> 
   <td>1.169489</td> 
   <td>1.234276e+08</td> 
   <td>2.079243e+08</td> 
   <td>2.744293e+08</td> 
   <td>3.993022e+08</td> 
  </tr> 
 </tbody> 
</table>

数据在时间列采样上存在缺失值，需要进行缺失值填充

对于count列，不同的att1与att2组合(不同线路)对应的count长度不同，正常情况下，数据有4天，应该是1440\*4 = 5760个点，说明数据在时间列采样上存在缺失值，需要进行缺失值填充

查看Value列的最大最小值

由于以上分析中，value的max和min显示并不直观，因此这里再做具体分析

print(df_data['Value'].min())
    print(df_data['Value'].max())

1.1694885305466325
    
    609569980.8860668

可以看到最小值是1.1694885305466325，最大值为609569980.8860668，无小于等于0的异常值；

[2b61255783c0482b8960394ca58c9587.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/eeb6b8bbb8c843f7a1ec963ae26c0278.png
[TimePoint_Unix_ att1_ att2_ Value_GB]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/ccd9e4ff980e4384814dc23f831e4d32.png
[TimePoint_att1_att2_Value 0_1592496000_0_0_1.683235e_08 12_1592496060_0_0_7.017834e_07 24_1592496120_0_0_5.218320e_07 36_1592496180_0_0_4.973728e_07 48_1592496240_0_0_2.627043e_07 60_1592496300_0_0_2.516527e_07 72_1592496360_0_0_5.241541e_04 84_1592496420_0_0_5.126166e_02 92_1592496480_0_0_1.253282e_03 104_1592496600_0_0_1.975488e_02 119_1592496720_0_0_6.139325e_02 136_1592496900_0_0_5.598084e_03 147_1592496960_0_0_2.088519e_03 190_1592497320_0_0_8.426582e_02 199_1592497380_0_0_2.255806e_04 210_1592497440_0_0_1.048735e_04 218_1592497500_0_0_4.599218e_03 229_1592497560_0_0_5.261509e_02 237_1592497620_0_0_1.098636e_02 256_1592497740_0_0_1.977122e_02 274_1592497920_0_0_6.781617e_02 282_1592497980_0_0_9.741788e_01 292_1592498040_0_0_5.603992e_03 303_1592498100_0_0_4.493011e_02 313_1592498160_0_0_1.461330e_03 321_1592498220_0_0_2.241611e_03 326_1592498280_0_0_1.335533e_03 331_1592498340_0_0_3.136885e_02 340_1592498460_0_0_3.227209e_02 347_1592498520_0_0_2.783268e_02]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/f26e98c0a0694bb3ac9f210020c866fb.png
[ee9fa0fb63324deab3dd417b4e00952e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/06/2e789447ac9a41e08d071c0d66cbd06f.png