IT之家 11 月 6 日消息，單圖視頻驅(qū)動(dòng)技術(shù)，即只需一張靜態(tài)照片和一段驅(qū)動(dòng)視頻，即可生成高質(zhì)量、“電影級(jí)”的視頻。
字節(jié)跳動(dòng)智能創(chuàng)作團(tuán)隊(duì)推出最新單圖視頻驅(qū)動(dòng)技術(shù) X-Portrait 2，該模型不僅能保留原圖的 ID，還能捕捉并遷移從細(xì)微到夸張的表情和情緒，簡(jiǎn)化了現(xiàn)有動(dòng)作捕捉、角色動(dòng)畫(huà)和內(nèi)容創(chuàng)作流程。
不同于以往依賴人臉關(guān)鍵點(diǎn)檢測(cè)的單圖驅(qū)動(dòng)方法，X-Portrait 2 構(gòu)建了一個(gè)表情編碼器模型，通過(guò)一種端到端自監(jiān)督訓(xùn)練框架，能夠從大量人像視頻中自學(xué)習(xí) ID 無(wú)關(guān)的運(yùn)動(dòng)隱式表征。
進(jìn)一步將這個(gè)編碼器與強(qiáng)大的生成式擴(kuò)散模型相結(jié)合，即可生成流暢且富有表現(xiàn)力的視頻。經(jīng)過(guò)在大規(guī)模高質(zhì)量表情視頻上的訓(xùn)練，X-Portrait 2 在運(yùn)動(dòng)表現(xiàn)力和 ID 保持性方面顯著優(yōu)于先前技術(shù)。
IT之家附項(xiàng)目地址：https://byteaigc.github.io/X-Portrait2/
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。