關于工作的靈感及想法

一. 姿態估計的相關靈感

1. PoseCNN

3D視覺系列：PoseCNN
https://blog.csdn.net/nwu_NBL/article/details/83176353

2. Learning 3D Human Dynamics from Video

從視頻中學習smpl模型參數，并可以用于單幅圖像生成當前及前后幀預測模型
https://github.com/akanazawa/human_dynamics

二. 人體模型相關想法及靈感

1. SMPL

SMPL采用姿勢與體型訓練相分離的方法，用兩個數據集求解參數空間。

姿勢：事先對FAUST數據集中每個人求解出靜止模板和關節位置，對每個掃描（每個人有多個掃描）求解出姿勢參數，列出目標函數，將變換模型擬合到數據集掃描中，最小化頂點誤差，并采用交替優化的方法求解多個參數。

體型：在對數據集姿態歸一化處理后，采用PCA算法得到前十個主成分，同時得到模板

2. 線框人體模型

論文：Parametric design for human body modeling by wireframe-assisted deep learning

1.通過DNN深度網絡強大的非線性表達能力將基于語義的參數（身高，胸圍，腰圍等）關聯到線框
2.通過線性回歸將線框回歸到補丁，即以線框作為界線的部件，再將這些patch進行組裝得到最終的人體網格

主要貢獻： 特征線框定義為中間層，并將整個人體模型劃分為小塊。每個貼片的形狀變化都小得多，并且PCA可以在貼片中
實現高速降維。利用較低的維度空間，應用深度學習

3. 語義參數重塑

論文：Semantic Parametric Reshaping of Human Body Models

1.建立數據集，模板配準以建立點對點的對應關系
2.一種選擇是學習語義參數和PCA系數之間的映射，我們稱之為全局映射，局部映射是一種線性回歸模型，它直接學習語義參數和形狀變形矩陣之間的映射，使用測地線距離來判斷剛性部分是否會影響這個三角形表面
3.從SCAPE模型學習姿勢和形狀變形，改全局映射為局部映射，利用人體拓撲約束，使用線性回歸方法來學習語義參數和模型參數之間的線性映射

主要貢獻： 我們用一種新的回歸模型擴展了該方法，我們將其稱為局部映射，以探索詳細語義屬性的空間。對于每個三角形面，學習語義屬性參數與相應形狀變化之間的線性映射，并引入映射約束以避免過度擬合問題

三. 從圖像或視頻估計人體模型論文

1. Monocular Total Capture

論文：Monocular Total Capture: Posing Face, Body, and Hands in the Wild
論文概述：
1.在第一個階段，將每個圖像（身體和手邊界框）輸入到卷積神經網絡（CNN）中，以獲得人體部位的聯合置信度圖和3D方向信息，我們將其稱為3D零件方向場（POF），即通過向量計算獲得方向。同樣手采用類似網絡方法
2.第二階段，我們通過在CNN產生的圖像測量值上擬合一個可變形的人體網格模型（Total capture 或 SMPL）來估計整體姿勢。我們利用嵌入在人體模型中的先驗信息來更好地抵抗CNN輸出中的噪聲。通過能量函數聯系CNN輸出，減小擬合誤差，擬合項包括2D臉部和腳部關鍵點（OpenPose）。在此階段，可以為每幀生成對應的3D模型
3.第三階段，我們還強制跨幀執行時間一致性以減少運動抖動。我們基于第二階段的擬合輸出定義了一個成本函數，以確保網格模型的紋理域中的光度學一致性。此階段生成精煉的模型參數。此階段提取出紋理貼圖，以計算跨幀光流

2. Octopus

論文：Learning to Reconstruct People in Clothing from a Single RGB Camera
論文概述：
1.提出一個框架，通過單目RGB相機，讓人在相機前以標準姿勢旋轉，并取其中幾幀就能夠完全重建人體的方法（包括衣服及發型）。使用自下而上方法（CNN）進行預測，并采用自上而下方法進行微調。學習過程采用合成3D數據。
2.采用SMPL模型，并加上偏移量D，代表衣服及發型等。預測器輸入為語義分割圖像及2D關節點。損失函數包括逐頂點誤差（穿與沒穿），投影輪廓重疊誤差，關節誤差
3. 使用線性回歸從頂點回歸關節位置

3. SMPL-X and SMPLify-X

論文：Expressive Body Capture: 3D Hands, Face, and Body from a Single Image
論文主要工作：提出了SMPL-X，即SMPL模型的擴展，和SMPLify-X，即smplify方法的改進版

論文概述：
1.SMPL-X由SMPL(body)，MANO(hand)，FLAME(head)三部分組成，將模型擬合到四個3D人體掃描數據集進行訓練
2.SMPLify-X采用類smplify的方法，最小化目標函數，包括先驗，距離和互穿懲罰的數據項
3.采用變分自動編碼器（VAE）訓練身體姿勢先驗，采用了一系列訓練公式
4.使用邊界體積層次結構（BVH），得出檢測自碰撞和滲透的數據項
5.訓練性別分類器，該分類器將包含全身和OpenPose關節的圖像作為輸入，并為檢測到的人分配性別標簽

4. Convolutional Mesh Regression

論文：Convolutional Mesh Regression for Single-Image Human Shape Reconstruction
論文主要工作：https://www.jianshu.com/p/32a493d4f482

論文概述：
主要的pipeline為：

給定一張圖，用任何一個經典的2D CNN都可以提出到低維的圖像特征；
將低緯度的圖像特征嵌入到template mesh的各個頂點中；
這樣每個頂點都有其坐標位置及對應的feature vector；
通過GCN層來不斷迭代進行優化；
最后得到回歸后的3D mesh的各個頂點坐標，對應圖中的output mesh；
作者：與陽光共進早餐
鏈接：https://www.jianshu.com/p/32a493d4f482
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

總結

以上是生活随笔為你收集整理的人体模型若干灵感及想法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。