谷歌全新視頻生成模型 VideoPoet 再次引領(lǐng)世界！十秒超長視頻生成效果碾壓 Gen-2，還可進(jìn)行音頻生成，風(fēng)格轉(zhuǎn)化。AI 視頻生成，或許就是 2024 年下一個最前沿（juan）的領(lǐng)域。
回看過去幾個月，RunWay 的 Gen-2、Pika Lab 的 Pika 1.0，國內(nèi)大廠等大波視頻生成模型紛紛涌現(xiàn)，不斷迭代升級。
這不，RunWay 一大早就宣布 Gen-2 支持文本轉(zhuǎn)語音的功能了，可以為視頻創(chuàng)建畫外音。
當(dāng)然，谷歌在視頻生成上也不甘落后，先是與斯坦福李飛飛團(tuán)隊共同發(fā)布了 W.A.L.T，用 Transformer 生成的逼真視頻引來大波關(guān)注。
今天，谷歌團(tuán)隊又發(fā)布了一個全新的視頻生成模型 VideoPoet，而且無需特定數(shù)據(jù)便可生成視頻。
最令人驚嘆的是，VideoPoet 一次能夠生成 10 秒超長，且連貫大動作視頻，完全碾壓 Gen-2 僅有小幅動作的視頻生成。
另外，與領(lǐng)先模型不同的是，VideoPoet 并非基于擴(kuò)散模型，而是多模態(tài)大模型，便可擁有 T2V、V2A 等能力，或?qū)⒊蔀槲磥硪曨l生成的主流。
網(wǎng)友看后紛紛「震驚」刷屏。
不如，接下來可以先看一波體驗。
文字轉(zhuǎn)視頻
在文本到視頻的轉(zhuǎn)換中，生成的視頻長度是可變的，并且能夠根據(jù)文本內(nèi)容展現(xiàn)出多種動作和風(fēng)格。
比如，熊貓打牌：
南瓜爆炸：
宇航員策馬奔馳：
圖像轉(zhuǎn)視頻
VideoPoet 還可以根據(jù)給定的提示，將輸入的圖像轉(zhuǎn)換成動畫。
視頻風(fēng)格化
對于視頻風(fēng)格化，VideoPoet 先預(yù)測光流和深度信息，然后再將額外的文本輸入到模型。
視頻轉(zhuǎn)音頻
VideoPoet 還能生成音頻。
如下，首先從模型中生成 2 秒鐘的動畫片段，然后在沒有任何文本引導(dǎo)的情況下嘗試預(yù)測音頻。這樣就能從一個模型中生成視頻和音頻。
通常情況下，VideoPoet 以縱向的方式生成視頻，以便與短片視頻的輸出相一致。
谷歌還專門做了一部由 VideoPoet 生成的許多短片組成的簡短電影。
具體文本比編排上，研究人員要求 Bard 先寫一個關(guān)于一只旅行浣熊的短篇故事，并附帶場景分解和提示列表。然后，為每個提示生成視頻片段，并將所有生成的片段拼接在一起，制作出下面的最終視頻。
視頻講故事
通過隨時間變化的提示，可以創(chuàng)造視覺上的故事敘述。
LLM 秒變視頻生成器
當(dāng)前，Gen-2、Pika 1.0 視屏生成的表現(xiàn)足以驚人，但是遺憾的是，無法在連貫大幅動作的視頻生成上表現(xiàn)驚艷。
通常，它們在產(chǎn)生較大動作時，視頻會出現(xiàn)明顯的偽影。
對此，谷歌研究人員提出了 VideoPoet，能夠執(zhí)行包括文本到視頻、圖像到視頻、視頻風(fēng)格化、視頻修復(fù) / 擴(kuò)展和視頻到音頻等多樣的視頻生成任務(wù)。
相比起其他模型，谷歌的方法是將多種視頻生成功能無縫集成到單一的大語言模型中，而不依賴針對各個任務(wù)分別訓(xùn)練的專用組件。
具體來說，VideoPoet 主要包含以下幾個組件：
預(yù)訓(xùn)練的 MAGVIT V2 視頻 tokenizer 和 SoundStream 音頻 tokenizer，能將不同長度的圖像、視頻和音頻剪輯轉(zhuǎn)換成統(tǒng)一詞匯表中的離散代碼序列。這些代碼與文本型語言模型兼容，便于與文本等其他模態(tài)進(jìn)行結(jié)合。
自回歸語言模型可在視頻、圖像、音頻和文本之間進(jìn)行跨模態(tài)學(xué)習(xí)，并以自回歸方式預(yù)測序列中下一個視頻或音頻 token。
在大語言模型訓(xùn)練框架中引入了多種多模態(tài)生成學(xué)習(xí)目標(biāo)，包括文本到視頻、文本到圖像、圖像到視頻、視頻幀延續(xù)、視頻修復(fù) / 擴(kuò)展、視頻風(fēng)格化和視頻到音頻等。此外，這些任務(wù)可以相互結(jié)合，實現(xiàn)額外的零樣本功能（例如，文本到音頻）。
使用 LLM 進(jìn)行訓(xùn)練的一個關(guān)鍵優(yōu)勢是，可以重用現(xiàn)有 LLM 訓(xùn)練基礎(chǔ)設(shè)施中引入的許多可擴(kuò)展的效率改進(jìn)。
不過，LLM 是在離散 token 上運(yùn)行的，這可能會給視頻生成帶來挑戰(zhàn)。
幸運(yùn)的是，視頻和音頻 tokenizer，可以將視頻和音頻剪輯編碼為離散 token 序列（即整數(shù)索引），并可以將其轉(zhuǎn)換回原始表示。
VideoPoet 訓(xùn)練一個自回歸語言模型，通過使用多個 tokenizer（用于視頻和圖像的 MAGVIT V2，用于音頻的 SoundStream）來跨視頻、圖像、音頻和文本模態(tài)進(jìn)行學(xué)習(xí)。
一旦模型根據(jù)上下文生成了 token，就可以使用 tokenizer 解碼器將這些 token 轉(zhuǎn)換回可查看的表示形式。
三大優(yōu)勢
概括來說，VideoPoet 比起 Gen-2 等視頻生成模型，具備以下三大優(yōu)勢。
更長的視頻
VideoPoet 通過對視頻的最后 1 秒進(jìn)行調(diào)節(jié)，并預(yù)測接下來的 1 秒，就可以生成更長的視頻。
通過反復(fù)循環(huán)，VideoPoet 通不僅可以很好地擴(kuò)展視頻，而且即使在多次迭代中，也能忠實地保留所有對象的外觀。
如下是 VideoPoet 從文本輸入生成長視頻的兩個示例：
精準(zhǔn)的控制
視頻生成應(yīng)用一個非常重要的能力在于，對于生成的動態(tài)效果，用戶有多大的控制能力。
這將很大程度上決定了模型能否被用來制作復(fù)雜連貫的長視頻。
VideoPoet 不但可以為輸入的圖像通過文字描述來添加動態(tài)效果，并通過文本提示來調(diào)整內(nèi)容，來達(dá)到預(yù)期的效果。
除了支持輸入圖像的視頻編輯，視頻輸入也可以通過文字進(jìn)行精確控制。
針對最左邊的小浣熊跳舞視頻，用戶可以通過文字描述不同的舞姿來讓它跳不同的舞蹈。
同樣，還可以對 VideoPoet 生成的現(xiàn)有視頻片段，進(jìn)行交互式編輯。
如果我們提供一個輸入視頻，就可以改變對象的運(yùn)動來執(zhí)行不同的動作。對物體的操作可以以第一幀或中間幀為中心，從而實現(xiàn)高度的編輯控制。
比如，可以從輸入視頻中隨機(jī)生成一些片段，然后選擇所需的下一個片段。
如圖中最左邊的視頻被用作條件反射，在初始提示下生成四個視頻：
「一個可愛的銹跡斑斑的破舊蒸汽朋克機(jī)器人的特寫，機(jī)器人身上長滿了青苔和新芽，周圍是高高的草叢」。
對于前 3 個輸出，沒有提示動作的自主預(yù)測生成。最后一個視頻，是在提示中添加了「啟動，背景為煙霧」以引導(dǎo)動作生成。
運(yùn)鏡的手法
VideoPoet 還可以通過在文本提示中，附加所需的運(yùn)鏡方式，來精確控制畫面的變化。
例如，研究人員通過模型生成了一幅圖像，提示為「冒險游戲概念圖，雪山日出，清澈河流」。下面的示例將給定的文本后綴添加到所需的動作中。
評估結(jié)果
最后，VideoPoet 在具體的實驗評測中的表現(xiàn)又如何呢？
為了確保評估的客觀性，谷歌研究人員在在各種提示上運(yùn)行所有模型，并讓人們對其偏好進(jìn)行評分。
下圖顯示了在以下問題中，VideoPoet 被選為綠色首選項的百分比。
文本保真度：
文本保真度的用戶偏好評級，即在準(zhǔn)確遵循提示方面首選視頻的百分比。
動作趣味性：
用戶對動作趣味性的偏好評級，即在產(chǎn)生有趣的動作方面，首選視頻的百分比。
綜上可見，平均有 24-35% 的人認(rèn)為 VideoPoet 生成的示例比其他模型更加遵循提示，而其他模型的這一比例僅為 8-11%。
此外，41%-54% 的評估者認(rèn)為 VideoPoet 中的示例動作更有趣，而其他模型只有 11%-21%。
對于未來的研究方向，谷歌研究人員表示，VideoPoet 框架將會實現(xiàn)「any-to-any」的生成，比如擴(kuò)展文本到音頻、音頻到視頻，以及視頻字幕等等。
網(wǎng)友不禁發(fā)問，Runway 和 Pika 能否抵擋住谷歌和 OpenAI 即將推出的文本到視頻創(chuàng)新技術(shù)？
參考資料：
https://sites.research.google/videopoet/
https://blog.research.google/2023/12/videopoet-large-language-model-for-zero.html
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。