Simple Baselines for Human Pose Estimation and Tracking 论文解读-蒲公英云

Simple Baselines for Human Pose Estimation and Tracking 论文解读

paper title: simple baselines for human pose estimation and tracking
paper link: https://arxiv.org/abs/1804.06208
github//github.com/microsoft/human-pose-estimation.pytorch
conf & anthor: ECCV 18,Bin Xiao et al. (MSRA,UEST)
arXiv submit v1: 2018.04

姿态估计系列：

DeepPose - human pose estimation via deep nerual networks
Efficient Object Localization Using Convolutional Networks
Convolutional Pose Machines
Human Pose Estimation with Iterative Error Feedback
Hourglass Network - stacked hourglass network for human pose estimation
OpenPose - Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
RMPE: Regional Multi-person Pose Estimation
Pose flow: Efficient Online Pose Tracking
CrowdPose: Efficient Crowded Scenes Pose Estimation and A New Benchmark

主要内容：

这篇文章提出了一种简洁高效的姿态估计和跟踪baseline方法，姿态估计方面使用ResNet+deconvolution, 跟踪方面使用optical Flow(光流)。

网络结构：

1.姿态估计
使用Faster-RCNN生成人的proposal，然后在关键点检测部分，使用ResNet作为主干网络，然后接三个反卷积层，生成最后的heatmap。

2.姿态跟踪
姿态跟踪方面使用基于Optical flow的方法。
1.Joint propagation using optical flow
对于前一帧中的检测到的人体各个关节点，计算optical flow移动后的值，然后确定一个boundingbox, 作为传播到当前帧中的人体proposal，这样可以弥补在运动模糊等情况下造成的人体proposal提取失败的情况。

2.Flow-based pose similarity
帧间追踪需要计算不同“人”的相似度，使用boundingbox IoU在运动较快或者密集场景下效果不好，使用关节点的OKS(Object Keypoint Similarity)当两帧间的姿态相差较大效果也不好，都有一些弊端。这篇文章就利用了光流，先计算下一帧的加上光流偏移后的姿态，然后再计算OKS，考虑到两帧之间可能有各种原因造成的不连续情况，所以这里可以计算连续多帧的OKS。

3.Flow-based pose tracking
首先将1中说的Joint propagation得到proposal和检测模型得到的proposal做NMS，然后进行单人姿态估计，之后计算如2中所述的两帧之间的OKS，并进行贪婪匹配，完成跟踪。