IT之家 10 月 21 日消息，復旦大學和百度聯(lián)合開發(fā)了一款名為 Hallo2 的全新 AI 模型，該模型可以生成長達數(shù)小時的 4K 分辨率人物動畫，現(xiàn)已在 GitHub 發(fā)布開源。
Hallo2 模型建立在 latent diffusion models 的基礎上，相比上一代 Hallo 模型的效果更好，支持了長視頻生成，通過引入數(shù)據(jù)增強方法如 patch-drop 和高斯噪聲，有效提高了長時間視頻的視覺一致性和時間連貫性。
Hallo2 還結(jié)合了向量量化生成對抗網(wǎng)絡和時間對齊技術(shù)，保證了高分辨率視頻的質(zhì)量和流暢性。
此外，Hallo2 將可調(diào)整的語義文本標簽的肖像表情作為條件輸入。這超出了傳統(tǒng)的音頻提示，可以提高可控性并增加所生成內(nèi)容的多樣性。項目頁面介紹稱，Hallo2 是第一種實現(xiàn) 4K 分辨率并生成長達 1 小時的音頻驅(qū)動的人像圖像動畫的方法，并通過文本提示進行增強。
IT之家附 Hallo2 項目地址如下：
https://fudan-generative-vision.github.io/hallo2/#/
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。