FrankMocap 是港中文聯合 Facebook AI 研究院提出的3D 人體姿態和形狀估計算法。

?

不僅僅是估計人體的運動姿態，甚至連身體的形狀，手部的動作都可以一起計算出來。

?

?

算法很強大，能夠從單目視頻同時估計出 3D 人體和手部運動，在一塊 GeForce RTX 2080 GPU 上能夠達到 9.5 FPS。

?

缺點就是，速度有點慢，計算量較大，達到實時性有一定難度。

?

不過隨著硬件的快速發展，這都不是問題，「老黃刀法」很給力。

?

FrankMocap 算法就在這幾天，剛剛開源，有 Python 和深度學習基礎的朋友，不容錯過。

?

項目地址：

https://github.com/facebookresearch/frankmocap

?

算法使用 SMPL-X 人體模型。

?

給定一張彩色圖片，通過兩個網絡模塊分別預測手部姿態和人體姿態。

?

然后再通過整合模塊將手和身體組合在一起，得到最終的3D全身模型，整個流程如下圖所示：

?

?

在具體的各個模塊的實現，那就涉及具體的數學公式了。

?

本文就不多做擴展了，感興趣的小伙伴，可以直接看論文。

?

論文地址：

https://arxiv.org/pdf/2008.08324.pdf

?

論文對每個模塊的公式，記錄的很詳細。

?

?

FrankMocap 算法怎么玩？

?

這里有詳細的安裝教程：

https://github.com/facebookresearch/frankmocap/blob/master/docs/INSTALL.md

?

除了常規的第三方庫，還需要 Detectron2 用于手部動作捕捉，以及 Pytorch3D 做姿態渲染。

?

推薦使用 Anaconda 配置，環境配置完畢，就可以開始體驗了。

?

使用方法很簡單：

?

如果只做身體姿態捕捉，可以運行如下命令：

# using a machine with a monitor to show output on screenpython -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_bodymocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

?

運行效果：

?

?

如果只做手部姿態捕捉，可以運行如下命令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)xvfb-run -a python -m demo.demo_handmocap --input_path ./sample_data/han_hand_short.mp4 --out_dir ./mocap_output

?

運行效果：

?

?

全身的姿態估計，使用如下指令：

# using a machine with a monitor to show outputs on screenpython -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output
# screenless mode (e.g., a remote server)python -m demo.demo_frankmocap --input_path ./sample_data/han_short.mp4 --out_dir ./mocap_output

?

運行效果：

?

總結

以上是生活随笔為你收集整理的Python安装FrankMocap实现3D人体姿态估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。