时序动作检测《BMN: Boundary-Matching Network for Temporal Action Proposal Generation》

「爱情、让人受尽委屈。」 2022-09-01 00:53 146阅读 0赞

**温馨提示：本文仅供自己参考（勿捧杀），如有理解错误，有时间再改！**

BMN算法是对BSN算法的改进，有关BSN算法的详细介绍，请参考上一篇文章。一个高质量的proposal生成方法应当具备生成的proposal长度灵活可变、proposal边界精确、proposal可靠的置信度。

**BSN****算法的缺点：**

1、BSN算法中PEG模块对于候选proposal的特征构建和置信度评估是分开进行的，效率低

2、在BSN算法中的TEM模块对每个时刻采用局部上下文信息进行特征建模，proposal特征的构建缺少丰富的时序上下文信息

3、BSN算法中包含多个处理步骤：视频特征提取、TEM、PGM、PEM等，是一个多阶段的算法模型，不是一个统一的网络模型

**视频特征提取**

BMN算法中对于视频的形式化定义以及视频时序特征的提取方法和BSN算法相同。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70][]

![20210726183541279.png][]

**Boundary-Matching Mechanism**

在BM机制中，一个proposal被表示为一对开始边界点和结束边界点，然后将这个（开始，结束）转换为（开始，持续时长），然后使用一个二维的BM置信度图来表示所有可能的proposal的（开始，持续时长）对，其中横轴表示proposal的不同开始时间点，纵轴表示proposal的持续长度。在BM机制中，首先定义一个BM层用来从输入的特征序列中生成BM特征图，在BM特征图中，包含每个proposal丰富的特征和上下文信息，然后对于BM特征图使用卷积层来计算得到BM置信度图。

**BM****置信度图**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1][]

BM置信度图要点解释：

1、BM置信度图上每一行上的proposal具有相同的持续时间，不同的开始时间位置

2、BM置信度图上每一列上的proposal具有相同的开始时间位置，但是具有不同的持续时间长度

3、BM置信度图上平行于45度线上的proposal具有不同的开始时间点和持续时间长度，但是具有相同的结束时间点

4、BM置信度图的右下角区域的proposal是无效的，因为此区域的proposal的开始时间+持续时间可能会超过视频的总时长

假设将BM置信度图表示为![20210726183755442.png][]，对于置信度图中的任一proposal的坐标![2021072618381990.png][]，位于第![20210726183755448.png][]行，第![20210726183755450.png][]列，其对应的proposal表示为![20210726183755452.png][], ![20210726183755455.png][]表示这个proposal以![20210726183901888.png][]为开始位置，持续![20210726183755457.png][]时间，以![20210726183755458.png][]为结束位置的置信度。通过BM置信度图，可以生成所有可能的proposal的预测置信度值。

**Bounding-Matching Layer****（****BM层****）**

Bounding-Matching Layer模块将提取到的视频特征序列转换为BM置信度图。首先，定义提取到的视频特征序列为![20210726184016470.png][]，对于每个proposal ![20210726183949427.png][]，在其开始时间和结束时间范围内，采样N个点特征点，得到每个proposal的特征![20210726183949430.png][]，对每个proposal ![20210726184045829.png][]都进行同样的采样过程，就得到了BM特征图：

![20210726184057938.png][]

其中，![20210726184125665.png][]是原始特征序列的输入通道数，![20210726184125677.png][]是在每个proposal上的采样点数，![20210726184125678.png][]是定义的proposal最大持续时长超参数，![20210726184125679.png][]是输入的原始特征序列长度。

**BM特征采样需要解决的问题：**

1、如何在开始时间和结束时间范围内采样N个特征点，这些特征点可能不会刚好落在![20210726184149106.png][]整数位置上，需要定义非整数位置的特征点采样方法，（BSN算法中采用的是线型插值均匀采样，类似于RoI Align，这种计算方式这能对每个proposal进行单独计算，效率低）

2、如何同时提取BM置信度图上所有proposal的特征点，以提高计算效率

**proposal****特征采样实现方法：**

首先对于proposal ![20210726184234106.png][]的边界进行扩充，![20210726184234105.png][]，![20210726184258473.png][]为起始边界点，![20210726184307538.png][]为结束边界点，![20210726184234109.png][]，对该区间进行均匀采样N个点，并且生成采样点对应的权重矩阵，然后根据每个均匀采样点的权重以及与之对应的时序特征加权计算每个采样点的特征，权重矩阵![20210726184234110.png][]计算公式如下：

![2021072618433366.png][]

对于在proposal片段内采样的N个点，假如第n个采样点![20210726184416928.png][],那么表示这个采样点落在时间序列![20210726184504981.png][]和![20210726184416960.png][]之间，通过![20210726184416965.png][]采样点的小数部分来衡量采样点![20210726184522133.png][]和时间序列![20210726184416961.png][]和![20210726184416962.png][]之间的靠近程度，并使用![20210726184541188.png][]和![20210726184416962.png][]的加权结果来表示![20210726184559931.png][]位置的采样结果，![20210726184416963.png][]的小数部分越大，表明![20210726184416966.png][]离![20210726184622369.png][]越远，时刻![20210726184416964.png][]的权重![20210726184416968.png][]就越小，时刻*t+1*![2021072618464215.png][]的权重![20210726184650168.png][]就越大。

将权重矩阵![20210726184733160.png][]和时序特征![20210726184733162.png][]点乘就得到proposal的特征![20210726184733165.png][]。以上计算方式只是BM置信度图上一个proposal的特征计算方法，然后将其扩展到二维BM置信度图上，扩展后的权重矩阵为![20210726184733174.png][]，使用权重矩阵![20210726184733174.png][]和时序特征![20210726184733175.png][]进行点乘，得到BM特征图![20210726184733174.png][]。

![20210726184819430.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2][]

**        重点：在BSN****算法中，每个****proposal****的特征采样采用线型插值得到，对于每个****proposal****都要单独计算插值结果得到特征，效率低。在****BMN****算法中，****在时序长度**![20210726184954418.png][]**和采样点数量**![20210726184954422.png][]**都确定的情况下，每个proposal****中的****N****个采样点的位置也是确定的，所以****N****个采样点对应的权重矩阵也是确定的，可以事先计算得到，并且可以使用矩阵点乘的方式实现，实现方式更优美，大大提升计算速度。**

**BM****层的训练监督信号**

BM置信度图上每个点都是一个proposal，对于每个proposal，计算proposal与所有GT的IoU的最大值作为这个proposal置信度训练的监督信号。

**BMN****算法结构**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 3][]

**Base Model**

BMN算法在Base Model提取序列特征方面与BSN方法一致，均采用固定大小的滑动窗口实现，使用固定大小的滑动窗口，也就确定了时序特征的序列长度T，从而也就能确定BM层的权重矩阵了。Base Model采用了两个1D卷积来增加时序维度的感受野：

![20210726185100624.png][]

**Temporal Evaluation Module (TEM)**

TEM模块与BSN算法的TEM模块的作用相同，计算方法不同。TEM模块使用概率预测的方式输出输入的时序特征的每个时序位置是动作开始和动作结束的概率，这个概率使用sigmoid函数来计算：

![20210726185115579.png][]

TEM在每个时序位置输出两个通道，然后使用sigmoid转换为概率值，分别表示开始概率和结束概率。TEM输出的概率在BSN中用来构造可能的proposal，但是在BMN中，不使用TEM生成的概率序列来生成可能的proposal，而是使用BM层来生成所有可能的proposal，TEM预测的开始点和结束点概率在BMN中用来在后处理阶段和BM置信度图一起计算proposal的置信度。

**Proposal Evaluation Module (PEM)**

PEM模块中包含**BM层**使用权重矩阵生成所有可能的proposal的特征得到BM特征图，然后对于BM特征图使用3D、2D卷积计算得到BM置信度图计算所有proposal的置信度。PEM模块中每个proposal采样32个特征点，然后使用3D卷积在特征点维度上将32个特征点进行压缩到1个特征点从而消除采样特征维度。最终再通道维度上的输出为2，表示输出proposal的两个置信度，一个置信度是使用分类损失计算得到的![20210726185139466.png][]，一个置信度是使用回归损失计算得到的![20210726185139467.png][]。

![20210726185139473.png][]

**模型训练**

使用重叠度50%的滑窗来截取固定大小的特征序列，并且滑窗中至少包含一个动作实例。

**TEM****训练数据构建**

BMN算法中的TEM和BSN算法中的TEM计算类似，都是先确定一下GT动作实例开始位置的region区间![20210810084939919.png][]  和结束位置的region区间![20210810084920582.png][]，然后计算时序位置![20210810084920580.png][]的区间![20210810084920582.png][] 分别与GT开始位置区间和结束位置区间重叠度的IoR，将得到的IoR的最大值分别作为![20210726185219395.png][]时序位置作为开始位置的GT标签和结束位置的GT标签。IoR的定义就是区间region的重叠度。

IoU的计算：

![20210803170212812.png][]

IoR的计算（在BSN论文中叫IoP，在BMN论文中叫IoR）：

![20210803170212779.png][]

**PEM****训练数据构建**

计算BM置信度图中每个proposal与窗口中所有标注动作实例GT的IoU的最大值作为这个proposal的置信度GT标签，用于训练得到BM置信度图。

**损失函数**

**TEM****损失**

TEM损失和BSN算法一样，采用加权的逻辑斯蒂回归损失分别计算开始损失和结束损失。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 4][]

**PEM****损失**

PEM模块由于同时输出两个预测概率，一个用于分类，一个用于回归，分类损失采用逻辑斯蒂回归损失，回归损失采用L2损失。

![20210726185406579.png][]

**整体损失**

![20210726185324256.png][]

**BMN****算法推理**

**使用****TEM****输出的开始和结束概率序列提取候选****proposal**

BMN中基于TEM生成候选proposal的方式与BSN算法完全一样。选择概率大于设定阈值，或者是峰值的开始点和结束点组成候选的开始点序列和结束点序列，然后将开始序列和结束序列进行两两配对得到候选的proposal，候选的proposal此时可以表示为：

![20210810090859906.png][]

**联合****TEM****和****PEM****的输出结果计算候选****proposal****的置信度**

基于proposal的开始节点概率、结束节点概率、分类置信度、回归置信度计算得到proposal的置信度值：

![20210810090859870.png][]

**soft-nms****进行后处理**

最后使用Soft-NMS进行后处理去除冗余的预测结果。

参考：[https://zhuanlan.zhihu.com/p/75444151][https_zhuanlan.zhihu.com_p_75444151]

参考：[https://github.com/open-mmlab/mmaction2][https_github.com_open-mmlab_mmaction2]

参考：https://github.com/JJBOY/BMN-Boundary-Matching-Network

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70]: /images/20220829/09c3e82d9cf24fdabeda4814e5fce7cd.png
[20210726183541279.png]: /images/20220829/1300086c27814df29bc278d2869d147a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 1]: /images/20220829/f2ccdf8e270c4cdb8ab33b57dd7a219e.png
[20210726183755442.png]: https://img-blog.csdnimg.cn/20210726183755442.png
[2021072618381990.png]: https://img-blog.csdnimg.cn/2021072618381990.png
[20210726183755448.png]: https://img-blog.csdnimg.cn/20210726183755448.png
[20210726183755450.png]: https://img-blog.csdnimg.cn/20210726183755450.png
[20210726183755452.png]: https://img-blog.csdnimg.cn/20210726183755452.png
[20210726183755455.png]: https://img-blog.csdnimg.cn/20210726183755455.png
[20210726183901888.png]: https://img-blog.csdnimg.cn/20210726183901888.png
[20210726183755457.png]: https://img-blog.csdnimg.cn/20210726183755457.png
[20210726183755458.png]: /images/20220829/5a9fbe203e26450381a803e337a83d1e.png
[20210726184016470.png]: https://img-blog.csdnimg.cn/20210726184016470.png
[20210726183949427.png]: https://img-blog.csdnimg.cn/20210726183949427.png
[20210726183949430.png]: https://img-blog.csdnimg.cn/20210726183949430.png
[20210726184045829.png]: /images/20220829/ba6af03c968642efa92ad427f47683ad.png
[20210726184057938.png]: /images/20220829/8882971306ea4e74af82a417310a0bc1.png
[20210726184125665.png]: https://img-blog.csdnimg.cn/20210726184125665.png
[20210726184125677.png]: https://img-blog.csdnimg.cn/20210726184125677.png
[20210726184125678.png]: https://img-blog.csdnimg.cn/20210726184125678.png
[20210726184125679.png]: /images/20220829/2a6bcb77c6e842f58783c6ee0a71226e.png
[20210726184149106.png]: /images/20220829/e83c2bb5d1624228bd7cff2fcefcda03.png
[20210726184234106.png]: https://img-blog.csdnimg.cn/20210726184234106.png
[20210726184234105.png]: https://img-blog.csdnimg.cn/20210726184234105.png
[20210726184258473.png]: https://img-blog.csdnimg.cn/20210726184258473.png
[20210726184307538.png]: https://img-blog.csdnimg.cn/20210726184307538.png
[20210726184234109.png]: https://img-blog.csdnimg.cn/20210726184234109.png
[20210726184234110.png]: /images/20220829/fc51d6c2d974496b952b26b51c3fc18c.png
[2021072618433366.png]: /images/20220829/357c2229972d4f239a74d64ada9221b8.png
[20210726184416928.png]: https://img-blog.csdnimg.cn/20210726184416928.png
[20210726184504981.png]: https://img-blog.csdnimg.cn/20210726184504981.png
[20210726184416960.png]: https://img-blog.csdnimg.cn/20210726184416960.png
[20210726184416965.png]: https://img-blog.csdnimg.cn/20210726184416965.png
[20210726184522133.png]: https://img-blog.csdnimg.cn/20210726184522133.png
[20210726184416961.png]: https://img-blog.csdnimg.cn/20210726184416961.png
[20210726184416962.png]: https://img-blog.csdnimg.cn/20210726184416962.png
[20210726184541188.png]: https://img-blog.csdnimg.cn/20210726184541188.png
[20210726184559931.png]: https://img-blog.csdnimg.cn/20210726184559931.png
[20210726184416963.png]: https://img-blog.csdnimg.cn/20210726184416963.png
[20210726184416966.png]: https://img-blog.csdnimg.cn/20210726184416966.png
[20210726184622369.png]: https://img-blog.csdnimg.cn/20210726184622369.png
[20210726184416964.png]: https://img-blog.csdnimg.cn/20210726184416964.png
[20210726184416968.png]: https://img-blog.csdnimg.cn/20210726184416968.png
[2021072618464215.png]: https://img-blog.csdnimg.cn/2021072618464215.png
[20210726184650168.png]: /images/20220829/281aaed9cee645f197abe1813837b993.png
[20210726184733160.png]: https://img-blog.csdnimg.cn/20210726184733160.png
[20210726184733162.png]: https://img-blog.csdnimg.cn/20210726184733162.png
[20210726184733165.png]: https://img-blog.csdnimg.cn/20210726184733165.png
[20210726184733174.png]: /images/20220829/c77b8d290ec74121bc4a924e171d41ae.png
[20210726184733175.png]: https://img-blog.csdnimg.cn/20210726184733175.png
[20210726184819430.png]: /images/20220829/e78be9cdb56449249a7119624ac7ab08.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 2]: /images/20220829/20ba5d87ed9049e1a6f91ebb9f52bb7e.png
[20210726184954418.png]: https://img-blog.csdnimg.cn/20210726184954418.png
[20210726184954422.png]: /images/20220829/88d320d1f4f648f4bc1e104b33d1ac8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 3]: /images/20220829/cc7eb165524449afaae45bb04a228d45.png
[20210726185100624.png]: /images/20220829/dc41c2250a7a4551a3cee37fcd2da25c.png
[20210726185115579.png]: /images/20220829/3572c3be05ba49d9bfff5d40b4212c9b.png
[20210726185139466.png]: https://img-blog.csdnimg.cn/20210726185139466.png
[20210726185139467.png]: /images/20220829/2e3eb5aefc86476782feaa139d92c33b.png
[20210726185139473.png]: /images/20220829/a7889d2f56924d4cbb5f3f2191a477bf.png
[20210810084939919.png]: https://img-blog.csdnimg.cn/20210810084939919.png
[20210810084920582.png]: https://img-blog.csdnimg.cn/20210810084920582.png
[20210810084920580.png]: https://img-blog.csdnimg.cn/20210810084920580.png
[20210726185219395.png]: /images/20220829/0371957d64a348d7b8dae0881bda7b2f.png
[20210803170212812.png]: /images/20220829/21ecce5618034a25a14245521aab8a69.png
[20210803170212779.png]: /images/20220829/b7788258970d4e128143d629df41870e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N4eDY1NA_size_16_color_FFFFFF_t_70 4]: /images/20220829/55a1fdbfe16a4b898f248a14ccfc40fc.png
[20210726185406579.png]: /images/20220829/6fea888937964c7c9b37591ccf17c98b.png
[20210726185324256.png]: /images/20220829/2367370cf7ff41bf836c47ffa59e9900.png
[20210810090859906.png]: /images/20220829/0494e065ff2748ebba46965038d2f205.png
[20210810090859870.png]: /images/20220829/d972bf28b25d44ebbe6b1953fbac8d66.png
[https_zhuanlan.zhihu.com_p_75444151]: https://zhuanlan.zhihu.com/p/75444151
[https_github.com_open-mmlab_mmaction2]: https://github.com/open-mmlab/mmaction2