Pose flow: Efficient Online Pose Tracking 论文解读

今天药忘吃喽~ 2024-04-19 00:26 6阅读 0赞

**paper title**:Pose flow: Efficient online pose tracking  
**paper link**:https://arxiv.org/pdf/1802.00977.pdf  
**project**:https://www.mvig.org/research/alphapose.html  
**oral or demo video**：https://www.youtube.com/watch?v=RHNdbEY5xn4  
**github**:https://github.com/MVIG-SJTU/AlphaPose  
**conf & anthor**:BMVC 18, Xiu, Y. et al.  
**arXiv submit v1**: 2018.02

姿态估计系列：

*  [DeepPose - human pose estimation via deep nerual networks][]
 *  [Efficient Object Localization Using Convolutional Networks][]
 *  [Convolutional Pose Machines ][Convolutional Pose Machines]
 *  [Human Pose Estimation with Iterative Error Feedback][]
 *  [Hourglass Network - stacked hourglass network for human pose estimation ][Hourglass Network - stacked hourglass network for human pose estimation]
 *  [OpenPose - Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields][]
 *  [RMPE: Regional Multi-person Pose Estimation][RMPE_ Regional Multi-person Pose Estimation]
 *  [Pose flow: Efficient Online Pose Tracking][Pose flow_ Efficient Online Pose Tracking]
 *  [CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark][CrowdPose_ Efficient Crowded Scenes Pose Estimation and A New Benchmark]

**主要内容**：  
这篇文章是AlphaPose项目的文章之一，主要提出通过Pose Flow(PF)实现在线pose追踪的方法。文章中的姿态估计方面主要基于[RMPE][RMPE_ Regional Multi-person Pose Estimation]，追踪方面主要包括两块内容：Pose Flow builder和Pose Flow NMS。PF builder是通过帧内以及帧间pose距离，使用动态规划构建Pose Flow；PF NMS通过合并PF得到最终的追踪结果。

**网络结构**：  
(1) 姿态估计  
在人体姿态估计方面使用的是two-stage的方法，基本与[RMPE][RMPE_ Regional Multi-person Pose Estimation]中的一致，关于这部分的内容不再赘述。

(2) 姿态追踪  
`(2.1)帧内，帧间pose距离计算`  
为了实现追踪，需要计算帧内、帧间的pose的距离，对相似度进行衡量。  
`(a)帧内pose距离`  
帧内pose距离基本上与RMPE论文中的一致。具体来说，对于第i和Pose  P i P\_i Pi, k i j k\_i^j kij和 c i j c\_i^j cij分别表示第j个关键点的位置和置信度。对于 P i P\_i Pi和 P j P\_j Pj分别计算它们之间两个距离：  
(1)一定空间范围内的对应关键点的置信度距离：  
 D c ( P i , P j ∣ σ 1 ) = ∑ n t a n h ( c i n / σ 1 ) ∗ t a n h ( c j n / σ 1 ) D\_c(P\_i,P\_j|\\sigma\_1) = \\sum\_ntanh(c\_i^n/\\sigma\_1)\*tanh(c\_j^n/\\sigma\_1) Dc(Pi,Pj∣σ1)=n∑tanh(cin/σ1)∗tanh(cjn/σ1)  
当 P j P\_j Pj位于以 P i P\_i Pi为中心的矩形框内的时候按照上式计算置信度距离，否则直接为0；j矩形框的大小设置为 P i P\_i Pi的bbox长宽各自的十分之一；tanh(·)是对置信度做一个非线性变换；  
(2)对应关键点的位置距离：  
 D k ( P i , P j ∣ σ 2 ) = ∑ n e x p ( ( k i n − k j n ) 2 / σ 2 ) D\_k(P\_i,P\_j|\\sigma\_2) = \\sum\_nexp((k\_i^n-k\_j^n)^2/\\sigma\_2) Dk(Pi,Pj∣σ2)=n∑exp((kin−kjn)2/σ2)  
最后， P i P\_i Pi和 P j P\_j Pj的距离为：  
 D i n t r a ( P i , P j ∣ λ ) = D c ( P i , P j ∣ σ 1 ) + λ D k ( P i , P j ∣ σ 2 ) D\_\{intra\}(P\_i,P\_j|\\lambda) = D\_c(P\_i,P\_j|\\sigma\_1) + \\lambda D\_k(P\_i,P\_j|\\sigma\_2) Dintra(Pi,Pj∣λ)=Dc(Pi,Pj∣σ1)\+λDk(Pi,Pj∣σ2)  
 λ \\lambda λ调节置信度距离和位置距离的权重。参数 σ 1 , σ 2 , λ \\sigma\_1,\\sigma\_2,\\lambda σ1,σ2,λ都是在验证集上最大化mAP优化得到的。

`(b)帧间pose距离`  
对于不同两帧中的两个pose P i P\_i Pi和 P j P\_j Pj, P i n P\_i^n Pin和 P j n P\_j^n Pjn为第n个关节点，在各关节点上分别做一个boundingbox，大小为人体boundingbox长款尺寸的十分之一，然后分别计算[deep matching][]特征，得到 f i n f\_i^n fin和 f j n f\_j^n fjn。然后根据特征的匹配程度可以计算不同帧间pose的距离：  
 D i n t e r ( P i , P j ) = ∑ n f j n f i n D\_\{inter\}(P\_i,P\_j) = \\sum\_n\\frac\{f\_j^n\}\{f\_i^n\} Dinter(Pi,Pj)=n∑finfjn

`(2.2) Pose Flow Builder`  
在完成对每一帧进行人体检测和姿态估计之后，**构建Pose Flow的过程就是将不同帧中属于同一个人的Pose连接起来的操作**。上面已经计算了帧间pose的距离 D i n t e r D\_\{inter\} Dinter,那么直接将当前帧中的pose与下一帧中的距离最小的连接起来就是一种解决方案，但是这种贪心算法因为识别误差或误检等原因效果不好。另一方面，如果在空间和时间域上使用graph-cut模型，会因为计算量过大无法实现在线追踪。所以文章提出了一种构建pose flow的方法。 P i f P\_i^f Pif为第f帧中的第i个pose，那么根据上面的帧间距离的计算方法，可以找到 P i f P\_i^f Pif在第f+1帧中的所有的候选的可连接的pose集合：  
 S E T ( P i f ) = \{ P ∣ D i n t e r ( P , P i f ) < η \} SET(P\_i^f) = \\\{P|D\_\{inter\}(P,P\_i^f)<\\eta\\\} SET(Pif)=\{ P∣Dinter(P,Pif)<η\}  
其中：

*   P P P表示第f+1帧中的所有pose的集合；
 *   η \\eta η是距离阈值，文章中通过交叉验证设置为1/25;  
    如下图所示，为从t帧到t+T帧检测到的pose(下图及后续相关图片仅为示意，不代表PF过程中的实际结果):  
    ![pose detected][]  
    对图中第t帧的最上面pose将其后续帧的所有候选可连接pose全部连接起来得到：  
    ![one candidate connect][]  
    如果对t帧的所有pose(这里只展示了场景中groundtruth的某一个人的检测到的所有pose，实际中还会有其他可能的许多pose)与后续帧中的候选可连接的pose连接起来将得到：  
    ![all candidate connect][]  
    对于这样的一个连接结果，t帧中的一个pose会有很多条“连接”到达后面的帧，这里最大化一个目标函数来寻找一条最佳的连接(最佳的最终“路径”)：  
     F ( t , T ) = m a x ∑ i = t t + T s ( Q i ) F(t,T)=max\\sum\_\{i=t\}^\{t+T\}s(Q\_i) F(t,T)=maxi=t∑t\+Ts(Qi)  
    其中：
 *   Q 0 = p i t Q\_0=p\_i^t Q0=pit,也就是初始第t帧的第i个pose;
 *   Q i ∈ S E T ( Q i − 1 ) Q\_i\\in SET(Q\_\{i-1\}) Qi∈SET(Qi−1),即 Q i Q\_i Qi是上一帧的所有pose的候选可连接pose的集合任意一个pose；
 *   s ( Q i ) = s b o x ( Q i ) + m e a n ( s p o s e ( Q i ) ) + m a x ( s p o s e ( Q i ) ) s(Q\_i)=s\_\{box\}(Q\_i)+mean(s\_\{pose\}(Q\_i))+max(s\_\{pose\}(Q\_i)) s(Qi)=sbox(Qi)\+mean(spose(Qi))\+max(spose(Qi))，其中 s b o x ( Q i ) s\_\{box\}(Q\_i) sbox(Qi)表示pose的boundingbox的置信度分数， m e a n ( s p o s e ( Q i ) ) mean(s\_\{pose\}(Q\_i)) mean(spose(Qi))和 m a x ( s p o s e ( Q i ) ) max(s\_\{pose\}(Q\_i)) max(spose(Qi))分别表示pose中的关节点的平均置信度分数和最大的置信度分数。

最大化这个目标函数 F F F就是要找到一条最佳的“追踪路径”，可以使用动态规划求解。求解之后就得到了从开始的第t帧中的各个pose开始的连接路径，如下图所示,分别用不同的颜色表示不同的连接路径，至此就完成了Pose Flow的构建。  
![dynamic programming result][]

`(2.3) Pose Flow NMS`  
构建完PF之后，需要对相似的PF进行合并，相当于是一个NMS的过程。现有两个Pose Flow  P F a PF\_a PFa和 P F b PF\_b PFb，他们在时间轴上重叠(在同一帧上都有一个pose,不是必须是同一个pose)的sub PF分别为 \{ P F a 1 , . . . , P F a N \} \\\{PF\_a^1,...,PF\_a^N\\\} \{ PFa1,...,PFaN\}和 \{ P F b 1 , . . . , P F b N \} \\\{PF\_b^1,...,PF\_b^N\\\} \{ PFb1,...,PFbN\}，那么他们之间的距离可以表示为：  
 D P F ( P F a , P F b ) = m e d i a n \[ \{ D i n t r a ( P F a 1 , P F b 1 ) , . . . , D i n t r a ( P F a N , P F b N ) \} \] ; D\_\{PF\}(PF\_a,PF\_b)=median\[\\\{D\_\{intra\}(PF\_a^1,PF\_b^1),...,D\_\{intra\}(PF\_a^N,PF\_b^N)\\\}\]; DPF(PFa,PFb)=median\[\{ Dintra(PFa1,PFb1),...,Dintra(PFaN,PFbN)\}\];  
其中：

*   D i n t r a ( ) D\_intra() Dintra()是前面说的帧间pose距离度量函数；
 *   m e d i a n \[ \] median\[\] median\[\]表示取中位数；  
    有了上面的PF之间的距离度量方法之后，我们可以对所有的PF进行NMS操作，首先选择具有最大的归一化的置信度的PF，然后将其他PF根据 D P F D\_\{PF\} DPF分到一些不同的group中，然后对同一个group中的PF进行合并，合并后新的PF中第t帧中的i个关节点的位置 X i t X\_i^t Xit和置信度 s i t s\_i^t sit分别为：  
     X ^ i t = ∑ k x i , k t ∗ s i , k t ∑ s i , k t \\hat\{X\}\_i^t = \\frac\{\\sum\_\{k\}\{x\_\{i,k\}^t\*s\_\{i,k\}^t\}\}\{\\sum\{s\_\{i,k\}^t\}\} X^it=∑si,kt∑kxi,kt∗si,kt  
     s ^ i t = ∑ k s i , k t ∑ 1 ( s i , k t ) \\hat\{s\}\_i^t = \\frac\{\\sum\_\{k\}s\_\{i,k\}^t\}\{\\sum1(\{s\_\{i,k\}^t\})\} s^it=∑1(si,kt)∑ksi,kt  
    其中：
 *   k k k表示group在t帧时的第k个pose；
 *  如果关节点不在图像中，则置信度 s i , k t = 0 s\_\{i,k\}^t=0 si,kt=0；
 *   1 ( s i , k t ) 1(\{s\_\{i,k\}^t\}) 1(si,kt)表示当输入不为0时结果为1，否则为0；  
    经过合并之后，将得到下面的结果：  
    ![PF NMS][]

**论文结果**：  
Pose Track 数据集上的实验结果([PoseTrack dataset][] , [PoseTrack paper][]) \[下图结果图片来自原论文\]：  
![experiment result][]

*  `MOTA`: Multiple Object Tracking Accuracy
 *  `MOTP`: Multiple Object Tracking Precision
 *  `MT`: Mostly Tracked， A track is considered mostly  
    tracked if it has been recovered in at least 80% of its length；
 *  `ML`: Mostly Lost，if more than 80% are not tracked；
 *  `FM`: the number of times a groundtruth trajectory is fragmented;
 *  `IDs`: identity switches;

[evaluation metrix in PoseTrack paper][]

[DeepPose - human pose estimation via deep nerual networks]: https://blog.csdn.net/JerryZhang__/article/details/97561493
[Efficient Object Localization Using Convolutional Networks]: https://blog.csdn.net/JerryZhang__/article/details/97561974
[Convolutional Pose Machines]: https://blog.csdn.net/JerryZhang__/article/details/97562875
[Human Pose Estimation with Iterative Error Feedback]: https://blog.csdn.net/JerryZhang__/article/details/97563255
[Hourglass Network - stacked hourglass network for human pose estimation]: https://blog.csdn.net/JerryZhang__/article/details/98308729
[OpenPose - Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields]: https://blog.csdn.net/JerryZhang__/article/details/98667549
[RMPE_ Regional Multi-person Pose Estimation]: https://blog.csdn.net/JerryZhang__/article/details/100767171
[Pose flow_ Efficient Online Pose Tracking]: https://blog.csdn.net/JerryZhang__/article/details/100835787
[CrowdPose_ Efficient Crowded Scenes Pose Estimation and A New Benchmark]: https://blog.csdn.net/JerryZhang__/article/details/100937176
[deep matching]: https://arxiv.org/pdf/1506.07656.pdf
[pose detected]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlL0VDODVFMDg4RTAzNDQwRjE4MzNEOUU4NzNDNjIzQUM0LzIxMTgw?x-oss-process=image/format,png
[one candidate connect]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlLzI2NjVBMUVBRkRERjQ1MTM4MUM2REMxOTIzQzM4N0VFLzIxMTgy?x-oss-process=image/format,png
[all candidate connect]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlLzI3Njk3QUZCODA5NTQ1QTQ4NEVFNTExNEU4NURGQUYwLzIxMTg0?x-oss-process=image/format,png
[dynamic programming result]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlL0RDQzExMzMwRDg1NTQ0MUNBQkJFREZCQjRBQkEyNjI0LzIxMTg5?x-oss-process=image/format,png
[PF NMS]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlLzQzRTY3RUI5MTgyQjQ5N0NBNUZFMEYxOEYyOTdEQzA3LzIxMTkx?x-oss-process=image/format,png
[PoseTrack dataset]: https://posetrack.net/
[PoseTrack paper]: https://arxiv.org/pdf/1710.10000.pdf
[experiment result]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9ub3RlLnlvdWRhby5jb20veXdzL3B1YmxpYy9yZXNvdXJjZS83NThlYTM1Y2JhMTE1MGQ5YTRiNTMyYTNhNjFmOTk2ZS94bWxub3RlLzZEM0FFQzMwRENDMDQyM0I5OEIwRUUxRTBFRDUxNzQ0LzIxMzEz?x-oss-process=image/format,png
[evaluation metrix in PoseTrack paper]: https://arxiv.org/pdf/1611.07727.pdf