1.SMPL模型簡(jiǎn)介

SMPL是通過(guò)參數(shù)控制的人體模型，可控制的參數(shù)為Pose和Shape。總共有24個(gè)關(guān)節(jié)點(diǎn)和10個(gè)Shape控制參數(shù)，模型及關(guān)節(jié)索引如下圖。

1.1.Pose——旋轉(zhuǎn)向量控制關(guān)節(jié)點(diǎn)旋轉(zhuǎn)

每個(gè)關(guān)節(jié)通過(guò)一個(gè)旋轉(zhuǎn)向量控制，如下圖為手動(dòng)控制關(guān)節(jié)點(diǎn)4繞Z軸旋轉(zhuǎn)90度、關(guān)節(jié)點(diǎn)19繞Y軸旋轉(zhuǎn)90度的結(jié)果。

旋轉(zhuǎn)關(guān)節(jié)點(diǎn)是在關(guān)節(jié)點(diǎn)的坐標(biāo)系下操作的旋轉(zhuǎn)，部位會(huì)隨著父節(jié)點(diǎn)旋轉(zhuǎn)而聯(lián)動(dòng)位移旋轉(zhuǎn)。例如上述再繞Z軸旋轉(zhuǎn)-90度，結(jié)果如下圖。

1.2.Shape——10個(gè)Shape參數(shù)控制體型

Shape參數(shù)是通過(guò)PCA提取的10個(gè)參數(shù)。通過(guò)Shape可以控制體型，如下為控制第一個(gè)參數(shù)為-10和10的結(jié)果。通過(guò)10個(gè)參數(shù)控制可以逼近真實(shí)人體體型，影響高低、胖瘦、關(guān)節(jié)長(zhǎng)短等。


SMPL的骨骼如下圖所示

2.Azure Kinect Body

Azure Kinect通過(guò)深度圖可以檢測(cè)出穩(wěn)定的人體關(guān)節(jié)，關(guān)節(jié)點(diǎn)及其索引如下圖所示。

同樣可以獲得關(guān)節(jié)點(diǎn)的旋轉(zhuǎn)，但是每個(gè)關(guān)節(jié)的坐標(biāo)系獨(dú)立且方向不全一致，每個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)系如下圖。

通過(guò)Azure Kinect實(shí)際采集的骨架繪制結(jié)果如下：

3.人體骨骼擬合

3.1.初步對(duì)齊

由于SMPL與Azure Kinect坐標(biāo)系不一致，首先需要將SMPL與Kinect Body移動(dòng)旋轉(zhuǎn)到同一個(gè)位置。未對(duì)齊的示意圖如下：

根據(jù)上述兩節(jié)的關(guān)節(jié)對(duì)應(yīng)關(guān)系，形成對(duì)應(yīng)的參考點(diǎn)對(duì)齊Map。首先將SMPL Joint0與Kinect Body Joint0移動(dòng)到一起，然后構(gòu)造 SMPL Joint0->Joint3 向量 $Vs$ 和 Kinect Body Joint0->Joint1 向量 $Vk$。之后構(gòu)造 $Vs$ 旋轉(zhuǎn)到 $Vk$ 的旋轉(zhuǎn)向量。操作SMPL模型進(jìn)行旋轉(zhuǎn)平移，即完成初步對(duì)齊，示意圖如下：

3.2.調(diào)節(jié)參數(shù)進(jìn)行骨骼對(duì)齊

設(shè)計(jì)能量函數(shù)為：
$$E(\beta ,\theta )=\sum _{i=1}^{24}(R_{\theta }(J(\beta {)}_i)?J_{kinect,i})$$
即，讓SMPL的關(guān)節(jié)點(diǎn)與Kinect Body的對(duì)應(yīng)關(guān)節(jié)點(diǎn)距離最小。最終優(yōu)化的結(jié)果如下圖所示：

此時(shí)Azure Kinect Body與SMPL的三維人體模型初步對(duì)齊。效果并不是特別好，因?yàn)锳zure Kinect Body與SMPL的關(guān)節(jié)點(diǎn)不是完全一致的。需要對(duì)Azure Kinect Body骨骼進(jìn)行變形，形成Azure Kinect Body到SMPL骨骼的近似轉(zhuǎn)化關(guān)系。從而更加準(zhǔn)確的進(jìn)行人體建模。骨骼變形結(jié)果如下：
（藍(lán)色為Azure Kinect Body采集原始骨骼，綠色SMPL骨骼，紅色為Azure Kinect Body變形到SMPL之后的骨骼）

此時(shí)進(jìn)行迭代優(yōu)化，即可得到較好結(jié)果。如下圖為擬合結(jié)果與采集點(diǎn)云的融合：

如上完成了使用Azure Kinect Body構(gòu)造SMPL模型的過(guò)程，后續(xù)可以增加與點(diǎn)云的迭代優(yōu)化本文中不再贅述。

總結(jié)

以上是生活随笔為你收集整理的使用Azure Kinect Body骨骼构造SMPL三维人体模型的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。