DensePose團(tuán)隊(duì)在ECCV 2018發(fā)表又一杰作：密集人體姿態(tài)轉(zhuǎn)換！這是一個(gè)基于DensePose的姿勢轉(zhuǎn)換系統(tǒng)，僅根據(jù)一張輸入圖像和目標(biāo)姿勢，生成數(shù)字人物的動(dòng)畫效果。

DensePose?是?Facebook?研究員?Natalia Neverova、Iasonas Kokkinos?和法國?INRIA?的?R?za Alp Guler?開發(fā)的一個(gè)令人驚嘆的人體實(shí)時(shí)姿勢識(shí)別系統(tǒng)，它在?2D?圖像和人體3D?模型之間建立映射，最終實(shí)現(xiàn)密集人群的實(shí)時(shí)姿態(tài)識(shí)別。

具體來說，DensePose?利用深度學(xué)習(xí)將?2D RPG?圖像坐標(biāo)映射到?3D?人體表面，把一個(gè)人分割成許多?UV?貼圖(UV?坐標(biāo))，然后處理密集坐標(biāo)，實(shí)現(xiàn)動(dòng)態(tài)人物的精確定位和姿態(tài)估計(jì)。

DensePose?模型以及數(shù)據(jù)集已經(jīng)開源，傳送門：

http://densepose.org/

最近，該團(tuán)隊(duì)更進(jìn)一步，發(fā)布了基于?DensePose?的一個(gè)姿勢轉(zhuǎn)換系統(tǒng)：Dense Pose Transfer，僅根據(jù)一張輸入圖像和目標(biāo)姿勢，創(chuàng)造出?“數(shù)字化身”?的動(dòng)畫效果。

在這項(xiàng)工作中，研究者希望僅依賴基于表面(surface-based)的對象表示(object representations)，類似于在圖形引擎中使用的對象表示，來獲得對圖像合成過程的更強(qiáng)把握。

研究者關(guān)注的重點(diǎn)是人體。模型建立在最近的?SMPL?模型和?DensePose?系統(tǒng)的基礎(chǔ)上，將這兩個(gè)系統(tǒng)結(jié)合在一起，從而能夠用完整的表面模型來說明一個(gè)人的圖像。

具體而言，這項(xiàng)技術(shù)是通過?surface-based?的神經(jīng)合成，渲染同一個(gè)人的不同姿勢，從而執(zhí)行圖像生成。目標(biāo)姿勢(target pose)是通過一個(gè)?“pose donor”?的圖像表示的，也就是指導(dǎo)圖像合成的另一個(gè)人。DensePose?系統(tǒng)用于將新的照片與公共表面坐標(biāo)相關(guān)聯(lián)，并復(fù)制預(yù)測的外觀。

我們在?DeepFashion?和?MVC?數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，結(jié)果表明我們可以獲得比最新技術(shù)更好的定量結(jié)果。

除了姿勢轉(zhuǎn)換的特定問題外，所提出的神經(jīng)合成與?surface-based?的表示相結(jié)合的方法也有希望解決虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的更廣泛問題：由于?surface-based?的表示，合成的過程更加透明，也更容易與物理世界連接。未來，姿勢轉(zhuǎn)換任務(wù)可能對數(shù)據(jù)集增強(qiáng)、訓(xùn)練偽造檢測器等應(yīng)用很有用。

Dense Pose Transfer

研究人員以一種高效的、自下而上的方式，將每個(gè)人體像素與其在人體參數(shù)化的坐標(biāo)關(guān)聯(lián)起來，開發(fā)了圍繞?DensePose?估計(jì)系統(tǒng)進(jìn)行姿勢轉(zhuǎn)換的方法。

我們以兩種互補(bǔ)的方式利用?DensePose?輸出，對應(yīng)于預(yù)測模塊和變形模塊(warping module)，如圖?1?所示。

圖?1：pose transfer pipeline?的概覽：給定輸入圖像和目標(biāo)姿勢，使用?DensePose?來執(zhí)行生成過程。

變形模塊使用?DensePose?表面對應(yīng)和圖像修復(fù)(inpainting)來生成人物的新視圖，而預(yù)測模塊是一個(gè)通用的黑盒生成模型，以輸入和目標(biāo)的?DensePose?輸出作為條件。

這兩個(gè)模塊具有互補(bǔ)的優(yōu)點(diǎn)：預(yù)測模塊成功地利用密集條件輸出來為熟悉的姿勢生成合理的圖像；但它不能推廣的新的姿勢，或轉(zhuǎn)換紋理細(xì)節(jié)。

相比之下，變形模塊可以保留高質(zhì)量的細(xì)節(jié)和紋理，允許在一個(gè)統(tǒng)一的、規(guī)范的坐標(biāo)系中進(jìn)行修復(fù)，并且可以自由地推廣到各種各樣的身體動(dòng)作。但是，它是以身體為中心的，而不是以衣服為中心，因此沒有考慮頭發(fā)、衣服和配飾。

將這兩個(gè)模塊的輸出輸入到一個(gè)混合模塊(blending module)可以得到最好的結(jié)果。這個(gè)混合模塊通過在一個(gè)端到端可訓(xùn)練的框架中使用重構(gòu)、對抗和感知損失的組合，來融合和完善它們的預(yù)測。

圖?2：warping stream?上姿勢轉(zhuǎn)換的監(jiān)控信號(hào)：通過?DensePose?驅(qū)動(dòng)的空間變換網(wǎng)絡(luò)，將左側(cè)的輸入圖像扭曲到固有的表面坐標(biāo)。

圖?3：Warping?模塊的結(jié)果

如圖?3?所示，在修復(fù)過程(inpainting process)，可以觀察到一個(gè)均勻的表面，捕捉了皮膚和貼身衣服的外觀，但沒有考慮頭發(fā)、裙子或外衣，因?yàn)檫@些不適合?DensePose的表面模型。

實(shí)驗(yàn)和結(jié)果

我們在?DeepFashion?數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，該數(shù)據(jù)集包含?52712?個(gè)時(shí)裝模特圖像，13029?件不同姿勢的服裝。我們選擇了?12029?件衣服進(jìn)行訓(xùn)練，其余?1000?件用于測試。

表1：根據(jù)結(jié)構(gòu)相似度?(SSIM)、?Inception Score(IS)[41]?和?detection score(DS)指標(biāo)，對DeepFashion?數(shù)據(jù)集的幾種?state-of-the-art?方法進(jìn)行定量比較。

我們首先將我們的框架與最近一些基于關(guān)鍵點(diǎn)的圖像生成或多視圖合成方法進(jìn)行比較。

表?1?顯示，我們的?pipeline?在結(jié)構(gòu)逼真度(structural fidelity)方面有顯著優(yōu)勢。在以IS?作為指標(biāo)的感知質(zhì)量方面，我們模型的輸出生成具有更高的質(zhì)量，或可與現(xiàn)有工作相媲美。

定性結(jié)果如圖?4?所示。

圖?4：與最先進(jìn)的?Deformable GAN (DSC)?方法的定性比較。

密集人體姿態(tài)轉(zhuǎn)換應(yīng)用

在這項(xiàng)工作中，我們介紹了一個(gè)利用密集人體姿態(tài)估計(jì)的?two-stream?姿態(tài)轉(zhuǎn)換架構(gòu)。我們已經(jīng)證明，密集姿勢估計(jì)對于數(shù)據(jù)驅(qū)動(dòng)的人體姿勢估計(jì)而言是一種明顯優(yōu)越的調(diào)節(jié)信號(hào)，并且通過?inpainting?的方法在自然的體表參數(shù)化過程中建立姿勢轉(zhuǎn)換。在未來的工作中，我們打算進(jìn)一步探索這種方法在照片級(jí)真實(shí)圖像合成，以及處理更多類別方面的潛力。

作者：

R?za Alp Güler，INRIA, CentraleSupélec

Natalia Neverova，Facebook AI Research

Iasonas Kokkinos，Facebook AI Research

打開APP精彩內(nèi)容

點(diǎn)擊閱讀全文

總結(jié)

以上是生活随笔為你收集整理的densepose安装_基于DensePose的姿势转换系统，仅根据一张输入图像和目标姿势的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。