設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

騰訊 AI 實驗室在姿勢引導(dǎo)人物圖像合成方面取得新突破

2023/11/4 10:36:53 來源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 11 月 4 日消息,騰訊 AI 實驗室近日推出了漸進(jìn)式條件擴散模型(PCDMs),在姿態(tài)引導(dǎo)人物圖像合成方面取得重大突破。

PCDMs 由先驗條件擴散模型、修復(fù)條件擴散模型和完善條件擴散模型三個關(guān)鍵階段組成,解決了應(yīng)對源圖像與目標(biāo)圖像的姿態(tài)不一致問題,以及在生成高質(zhì)量、逼真圖像方面的挑戰(zhàn)。

PCDMs 在 DeepFashion 和 Market1501 數(shù)據(jù)集上的各項指標(biāo),明顯優(yōu)于其他 SOTA 方法,且在小尺度數(shù)據(jù)集 Market1501(128*64)上的 SSIM 指標(biāo)得到最高的 0.3169,比第二名 PIDM 高出 3.8%。

在先驗條件擴散模型第一階段,在給定源圖像和姿勢坐標(biāo)作為條件的情況下,先驗條件擴散模型采用一個變換網(wǎng)絡(luò)來預(yù)測目標(biāo)姿勢下的全局特征。

在修復(fù)條件擴散模型第二階段,進(jìn)一步完善第一階段的全局特征,建立源圖像和目標(biāo)圖像之間密集對應(yīng)關(guān)系,該階段可確保跨多個維度(包括圖像、姿勢和特征)進(jìn)行對齊,對于實現(xiàn)逼真的結(jié)果至關(guān)重要。

在完善條件擴散模型第三階段:在前一階段生成初始粗粒度目標(biāo)圖像后,細(xì)化條件擴散模型介入以提高圖像質(zhì)量和紋理細(xì)節(jié)。

此階段利用先前生成的粗粒度圖像作為條件,進(jìn)一步提高圖像保真度并確保紋理一致性,涉及修改第一個卷積層,并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機制將紋理特征注入網(wǎng)絡(luò),便于紋理修復(fù)和細(xì)節(jié)增強。

IT之家在此附上論文地址:https://arxiv.org/pdf/2310.06313.pdf

GitHub 地址:https://github.com/muzishen/PCDMs

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:騰訊AI

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知