腾讯 AI 实验室在姿势引导人物图像合成方面取得新突破
11 月 4 日消息,騰訊 AI 實驗室近日推出了漸進式條件擴散模型(PCDMs),在姿態引導人物圖像合成方面取得重大突破。
PCDMs 由先驗條件擴散模型、修復條件擴散模型和完善條件擴散模型三個關鍵階段組成,解決了應對源圖像與目標圖像的姿態不一致問題,以及在生成高質量、逼真圖像方面的挑戰。
PCDMs 在 DeepFashion 和 Market1501 數據集上的各項指標,明顯優于其他 SOTA 方法,且在小尺度數據集 Market1501(128*64)上的 SSIM 指標得到最高的 0.3169,比第二名 PIDM 高出 3.8%。
在先驗條件擴散模型第一階段,在給定源圖像和姿勢坐標作為條件的情況下,先驗條件擴散模型采用一個變換網絡來預測目標姿勢下的全局特征。
在修復條件擴散模型第二階段,進一步完善第一階段的全局特征,建立源圖像和目標圖像之間密集對應關系,該階段可確保跨多個維度(包括圖像、姿勢和特征)進行對齊,對于實現逼真的結果至關重要。
在完善條件擴散模型第三階段:在前一階段生成初始粗粒度目標圖像后,細化條件擴散模型介入以提高圖像質量和紋理細節。
此階段利用先前生成的粗粒度圖像作為條件,進一步提高圖像保真度并確保紋理一致性,涉及修改第一個卷積層,并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機制將紋理特征注入網絡,便于紋理修復和細節增強。
在此附上論文地址:https://arxiv.org/pdf/2310.06313.pdf
GitHub 地址:https://github.com/muzishen/PCDMs
廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節省甄選時間,結果僅供參考,所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的腾讯 AI 实验室在姿势引导人物图像合成方面取得新突破的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: P5025-[SNOI2017]炸弹【t
- 下一篇: 一加 12 手机通过 3C 认证,显示支