IT之家 11 月 4 日消息，騰訊 AI 實驗室近日推出了漸進(jìn)式條件擴散模型（PCDMs），在姿態(tài)引導(dǎo)人物圖像合成方面取得重大突破。
PCDMs 由先驗條件擴散模型、修復(fù)條件擴散模型和完善條件擴散模型三個關(guān)鍵階段組成，解決了應(yīng)對源圖像與目標(biāo)圖像的姿態(tài)不一致問題，以及在生成高質(zhì)量、逼真圖像方面的挑戰(zhàn)。
PCDMs 在 DeepFashion 和 Market1501 數(shù)據(jù)集上的各項指標(biāo)，明顯優(yōu)于其他 SOTA 方法，且在小尺度數(shù)據(jù)集 Market1501（128*64）上的 SSIM 指標(biāo)得到最高的 0.3169，比第二名 PIDM 高出 3.8%。
在先驗條件擴散模型第一階段，在給定源圖像和姿勢坐標(biāo)作為條件的情況下，先驗條件擴散模型采用一個變換網(wǎng)絡(luò)來預(yù)測目標(biāo)姿勢下的全局特征。
在修復(fù)條件擴散模型第二階段，進(jìn)一步完善第一階段的全局特征，建立源圖像和目標(biāo)圖像之間密集對應(yīng)關(guān)系，該階段可確保跨多個維度（包括圖像、姿勢和特征）進(jìn)行對齊，對于實現(xiàn)逼真的結(jié)果至關(guān)重要。
在完善條件擴散模型第三階段：在前一階段生成初始粗粒度目標(biāo)圖像后，細(xì)化條件擴散模型介入以提高圖像質(zhì)量和紋理細(xì)節(jié)。
此階段利用先前生成的粗粒度圖像作為條件，進(jìn)一步提高圖像保真度并確保紋理一致性，涉及修改第一個卷積層，并使用圖像編碼器從源圖像中提取特征。采用交叉注意力機制將紋理特征注入網(wǎng)絡(luò)，便于紋理修復(fù)和細(xì)節(jié)增強。
IT之家在此附上論文地址：https://arxiv.org/pdf/2310.06313.pdf
GitHub 地址：https://github.com/muzishen/PCDMs
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。