設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

智源發(fā)布原生多模態(tài)世界模型 Emu3,宣稱實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)

2024/10/21 23:25:48 來源:IT之家 作者:沛霖(實(shí)習(xí)) 責(zé)編:沛霖
感謝IT之家網(wǎng)友 HH_KK 的線索投遞!

IT之家 10 月 21 日消息,智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個 token 預(yù)測,無需擴(kuò)散模型或組合方法,即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)

在圖像生成任務(wù)中,基于人類偏好評測,Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺語言理解任務(wù)中,對于 12 項(xiàng)基準(zhǔn)測試的平均得分,Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務(wù)中,對于 VBench 基準(zhǔn)測試得分,Emu3 優(yōu)于 OpenSora 1.2。

據(jù)介紹,Emu3 提供了一個強(qiáng)大的視覺 tokenizer,能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散 token。這些視覺離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時,該模型輸出的離散 token 可以被轉(zhuǎn)換為文本、圖像和視頻,為 Any-to-Any 的任務(wù)提供了更加統(tǒng)一的研究范式。

▲ Emu3 生成的圖像

Emu3 研究結(jié)果證明,下一個 token 預(yù)測可以作為多模態(tài)模型的一個強(qiáng)大范式,實(shí)現(xiàn)超越語言本身的大規(guī)模多模態(tài)學(xué)習(xí),并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過將復(fù)雜的多模態(tài)設(shè)計收斂到 token 本身,能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。

目前 Emu3 已開源了關(guān)鍵技術(shù)和模型,IT之家附鏈接如下:

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:智源多模態(tài),Emu3,AI

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知