目錄

一、簡介

二、人體關(guān)鍵點(diǎn)檢測數(shù)據(jù)集

三、關(guān)鍵點(diǎn)檢測任務(wù)的目標(biāo)構(gòu)建

四、單人2D關(guān)鍵點(diǎn)檢測相關(guān)算法

五、多人2D關(guān)鍵點(diǎn)檢測相關(guān)算法

六、3D關(guān)鍵點(diǎn)檢測相關(guān)算法

正文

一、簡介

關(guān)鍵點(diǎn)檢測領(lǐng)域包括人臉關(guān)鍵點(diǎn)、人體關(guān)鍵點(diǎn)、特定類別物體（如手骨）關(guān)鍵點(diǎn)檢測等。其中人體骨骼關(guān)鍵點(diǎn)檢測是其中比較熱門，難度系數(shù)較高，且應(yīng)用非常廣泛的一個(gè)研究領(lǐng)域，在自動(dòng)駕駛中也會(huì)有很好的應(yīng)用前景，所以本文主要是介紹人體關(guān)鍵點(diǎn)檢測的一些相關(guān)內(nèi)容。

人體骨骼關(guān)鍵點(diǎn)檢測是諸多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)，例如姿態(tài)估計(jì)，行為識別，人機(jī)交互，虛擬現(xiàn)實(shí)，智能家居，以及無人駕駛等等。由于人體具有柔韌性，會(huì)出現(xiàn)各種姿態(tài)，人體任何部位的變化都會(huì)產(chǎn)生新的姿態(tài)，同時(shí)關(guān)鍵點(diǎn)的可見性受姿態(tài)、穿著、視角等影響非常大，而且還面臨著遮擋、光照等環(huán)境的影響，使得人體骨骼關(guān)鍵點(diǎn)檢測成為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)極具挑戰(zhàn)性的課題。本文主要介紹內(nèi)容包括：

• 單人2D人體骨骼關(guān)鍵點(diǎn)檢測算法
• 多人2D人體骨骼關(guān)鍵點(diǎn)檢測算法
• 3D人體骨骼關(guān)鍵點(diǎn)檢測算法

二、人體關(guān)鍵點(diǎn)檢測相關(guān)數(shù)據(jù)集

2D數(shù)據(jù)集

LSP 地址：http://sam.johnson.io/research/lsp.html

FLIC 地址：https://bensapp.github.io/flic-dataset.html

MPII 地址：http://human-pose.mpi-inf.mpg.de/

MSCOCO 地址：http://cocodataset.org/#download

AI Chanllenge 地址：https://challenger.ai/competition/keypoint/subject

Pose Track 地址：https://www.posetrack.net/users/download.php

3D數(shù)據(jù)集

Human3.6M 地址：http://vision.imar.ro/human3.6m/description.php

HumanEva 地址：http://humaneva.is.tue.mpg.de/

Total Capture 地址：https://github.com/CMU-Perceptual-Computing-Lab/panoptic-toolbox、http://domedb.perception.cs.cmu.edu/dataset.html

JTA Dataset 地址：http://aimagelab.ing.unimore.it/jta、https://github.com/fabbrimatteo/JTA-Dataset

MPI-INF-3DHP 地址：http://gvv.mpi-inf.mpg.de/3dhp-dataset/

SURREAL 地址：https://www.di.ens.fr/willow/research/surreal/data/

UP-3D 地址：http://files.is.tuebingen.mpg.de/classner/up/

DensePose COCO 地址：https://github.com/facebookresearch/DensePose、https://www.aiuai.cn/aifarm278.html、http://densepose.org/#dataset

三、關(guān)鍵點(diǎn)檢測的Ground Truth的構(gòu)建

1）Coordinate

Coordinate即直接將關(guān)鍵點(diǎn)坐標(biāo)作為最后網(wǎng)絡(luò)需要回歸的目標(biāo)，這種情況下可以直接得到每個(gè)坐標(biāo)點(diǎn)的直接位置信息。

2）Heatmap

Heatmap即將每一類坐標(biāo)用一個(gè)概率圖來表示，對圖片中的每個(gè)像素位置都給一個(gè)概率，表示該點(diǎn)屬于對應(yīng)類別關(guān)鍵點(diǎn)的概率，比較自然的是，距離關(guān)鍵點(diǎn)位置越近的像素點(diǎn)的概率越接近1，距離關(guān)鍵點(diǎn)越遠(yuǎn)的像素點(diǎn)的概率越接近0，具體可以通過相應(yīng)函數(shù)進(jìn)行模擬，如二維Gaussian等，如果同一個(gè)像素位置距離不同關(guān)鍵點(diǎn)的距離大小不同，即相對于不同關(guān)鍵點(diǎn)該位置的概率不一樣，這時(shí)可以取Max或Average。

對于兩種Ground Truth的差別：

• Coordinate網(wǎng)絡(luò)在本質(zhì)上來說，需要回歸的是每個(gè)關(guān)鍵點(diǎn)的一個(gè)相對于圖片的offset，而長距離offset在實(shí)際學(xué)習(xí)過程中是很難回歸的，誤差較大，同時(shí)在訓(xùn)練中的過程，提供的監(jiān)督信息較少，整個(gè)網(wǎng)絡(luò)的收斂速度較慢；
• Heatmap網(wǎng)絡(luò)直接回歸出每一類關(guān)鍵點(diǎn)的概率，在一定程度上每一個(gè)點(diǎn)都提供了監(jiān)督信息，網(wǎng)絡(luò)能夠較快的收斂，同時(shí)對每一個(gè)像素位置進(jìn)行預(yù)測能夠提高關(guān)鍵點(diǎn)的定位精度，在可視化方面，Heatmap也要優(yōu)于Coordinate，除此之外，實(shí)踐證明，Heatmap確實(shí)要遠(yuǎn)優(yōu)于Coordinate，具體結(jié)構(gòu)如下圖所示。

3）Heatmap + Offsets

Heatmap + Offsets是Google在CVPR 2017上提出的，與單純的Heatmap不同的是，Google的Heatmap指的是在距離目標(biāo)關(guān)鍵點(diǎn)一定范圍內(nèi)的所有點(diǎn)的概率值都為1，在Heatmap之外，使用Offsets，即偏移量來表示距離目標(biāo)關(guān)鍵點(diǎn)一定范圍內(nèi)的像素位置與目標(biāo)關(guān)鍵點(diǎn)之間的關(guān)系。

四、單人2D關(guān)鍵點(diǎn)檢測算法

1.DeepPose: Human Pose Estimation via Deep Neural Networks (CVPR’14)

2.Efficient Object Localization Using Convolutional Networks (CVPR’15)

3.Convolutional Pose Machines（2016）

4.Learning Feature Pyramids for Human Pose Estimation（ICCV2017）

5.Stacked Hourglass Networks for Human Pose Estimation (2017)

6.Multi-Context Attention for Human Pose Estimation (2018)

7.A Cascaded Inception of Inception Network with Attention Modulated Feature Fusion for Human Pose Estimation (2018)

8.Deeply Learned Compositional Models for Human Pose Estimation (2018ECCV）

9.Human Pose Estimation with Spatial Contextual Information (2019)

10.Cascade Feature Aggregation for Human Pose Estimation (2019)

11.Toward fast and accurate human pose estimation via soft-gated skip connections (2020)

五、多人2D關(guān)鍵點(diǎn)檢測算法

多人關(guān)鍵點(diǎn)檢測分自上而下和自下而上兩種方法：

自上而下（Top-Down）的人體骨骼關(guān)鍵點(diǎn)檢測算法主要包含兩個(gè)部分，目標(biāo)檢測和單人人體骨骼關(guān)鍵點(diǎn)檢測，對于目標(biāo)檢測算法，這里不再進(jìn)行描述，而對于關(guān)鍵點(diǎn)檢測算法，首先需要注意的是關(guān)鍵點(diǎn)局部信息的區(qū)分性很弱，即背景中很容易會(huì)出現(xiàn)同樣的局部區(qū)域造成混淆，所以需要考慮較大的感受野區(qū)域；其次人體不同關(guān)鍵點(diǎn)的檢測的難易程度是不一樣的，對于腰部、腿部這類關(guān)鍵點(diǎn)的檢測要明顯難于頭部附近關(guān)鍵點(diǎn)的檢測，所以不同的關(guān)鍵點(diǎn)可能需要區(qū)別對待；最后自上而下的人體關(guān)鍵點(diǎn)定位依賴于檢測算法的提出的Proposals，會(huì)出現(xiàn)檢測不準(zhǔn)和重復(fù)檢測等現(xiàn)象，大部分相關(guān)論文都是基于這三個(gè)特征去進(jìn)行相關(guān)改進(jìn)。

自下而上（Bottom-Up）的人體骨骼關(guān)鍵點(diǎn)檢測算法主要包含兩個(gè)部分，關(guān)鍵點(diǎn)檢測和關(guān)鍵點(diǎn)聚類，其中關(guān)鍵點(diǎn)檢測和單人的關(guān)鍵點(diǎn)檢測方法上是差不多的，區(qū)別在于這里的關(guān)鍵點(diǎn)檢測需要將圖片中所有類別的所有關(guān)鍵點(diǎn)全部檢測出來，然后對這些關(guān)鍵點(diǎn)進(jìn)行聚類處理，將不同人的不同關(guān)鍵點(diǎn)連接在一塊，從而聚類產(chǎn)生不同的個(gè)體。而這方面的論文主要側(cè)重于對關(guān)鍵點(diǎn)聚類方法的探索，即如何去構(gòu)建不同關(guān)鍵點(diǎn)之間的關(guān)系。

5.1 多人2d關(guān)鍵點(diǎn)檢測算法（自上而下）

1.RMPE: Regional Multi-Person Pose Estimation（2018）

2.Cascaded Pyramid Network for Multi-Person Pose Estimation（cpn）（2018）

3.Rethinking on Multi-Stage Networks for Human Pose Estimation（2019）

4.Spatial Shortcut Network for Human Pose Estimation（2019）

5.Deep High-Resolution Representation Learning for Human Pose Estimation (2019cvpr)

5.2 多人2d關(guān)鍵點(diǎn)檢測算法（自下而上）

1.OpenPose: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields（IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE2019）

2.Single-Network Whole-Body Pose Estimation（ICCV2019）

六、3D關(guān)鍵點(diǎn)檢測算法

1.Coarse-to-Fine Volumetric Prediction for Single-Image 3D Human Pose（2017）

2.A simple yet effective baseline for 3d human pose estimation（ICCV2017）

3.RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation（CVPR2019）

4.Generating Multiple Hypotheses for 3D Human Pose Estimation with Mixture Density Network（cvpr2019）

5.Learnable Triangulation of Human Pose（ICCV 2019 oral）

6.Weakly-Supervised Discovery of Geometry-Aware Representation for 3D HumanPose Estimation（cvpr2019）

7.3D human pose estimation in video with temporal convolutions and semi-supervised training （cvpr2019）

8.Semantic Graph Convolutional Networks for 3D Human Pose Regression （cvpr2019）

9.Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks（ICCV2019）

10.3D Human Pose Estimation using Spatio-Temporal Networks with Explicit Occlusion Training （AAAI2020）

11.Motion Guided 3D Pose Estimation from Videos（2020）

12.XNect: Real-time Multi-Person 3D Motion Capture with a Single RGB Camera(2020)

13.VIBE: Video Inference for Human Body Pose and Shape Estimation （2020cvpr）

總結(jié)

以上是生活随笔為你收集整理的关键点检测算法（一）总体介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。