11 月 4 日消息，騰訊 AI 實(shí)驗(yàn)室近日推出了漸進(jìn)式條件擴(kuò)散模型（PCDMs），在姿態(tài)引導(dǎo)人物圖像合成方面取得重大突破。

PCDMs 由先驗(yàn)條件擴(kuò)散模型、修復(fù)條件擴(kuò)散模型和完善條件擴(kuò)散模型三個(gè)關(guān)鍵階段組成，解決了應(yīng)對源圖像與目標(biāo)圖像的姿態(tài)不一致問題，以及在生成高質(zhì)量、逼真圖像方面的挑戰(zhàn)。

PCDMs 在 DeepFashion 和 Market1501 數(shù)據(jù)集上的各項(xiàng)指標(biāo)，明顯優(yōu)于其他 SOTA 方法，且在小尺度數(shù)據(jù)集 Market1501（128*64）上的 SSIM 指標(biāo)得到最高的 0.3169，比第二名 PIDM 高出 3.8%。

在先驗(yàn)條件擴(kuò)散模型第一階段，在給定源圖像和姿勢坐標(biāo)作為條件的情況下，先驗(yàn)條件擴(kuò)散模型采用一個(gè)變換網(wǎng)絡(luò)來預(yù)測目標(biāo)姿勢下的全局特征。

在修復(fù)條件擴(kuò)散模型第二階段，進(jìn)一步完善第一階段的全局特征，建立源圖像和目標(biāo)圖像之間密集對應(yīng)關(guān)系，該階段可確保跨多個(gè)維度（包括圖像、姿勢和特征）進(jìn)行對齊，對于實(shí)現(xiàn)逼真的結(jié)果至關(guān)重要。

在完善條件擴(kuò)散模型第三階段：在前一階段生成初始粗粒度目標(biāo)圖像后，細(xì)化條件擴(kuò)散模型介入以提高圖像質(zhì)量和紋理細(xì)節(jié)。

此階段利用先前生成的粗粒度圖像作為條件，進(jìn)一步提高圖像保真度并確保紋理一致性，涉及修改第一個(gè)卷積層，并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機(jī)制將紋理特征注入網(wǎng)絡(luò)，便于紋理修復(fù)和細(xì)節(jié)增強(qiáng)。

在此附上論文地址：https://arxiv.org/pdf/2310.06313.pdf

GitHub 地址：https://github.com/muzishen/PCDMs

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，所有文章均包含本聲明。

總結(jié)

以上是生活随笔為你收集整理的腾讯 AI 实验室在姿势引导人物图像合成方面取得新突破的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。