只要一張參考圖片，任何人都可以替換成視頻的主角。
隨著擴(kuò)散模型的發(fā)展，基于輸入文本生成高質(zhì)量的圖片和視頻已經(jīng)成為現(xiàn)實(shí)，但是僅使用文本生成視覺內(nèi)容的可控性有限。
為了克服這個(gè)問題，研究人員們開始探索額外的控制信號和對現(xiàn)有內(nèi)容進(jìn)行編輯的方法。這兩個(gè)方向在一定程度上實(shí)現(xiàn)了生成過程的可控性，但仍然需要依賴文本來描述目標(biāo)生成內(nèi)容。
在實(shí)際應(yīng)用中，我們面臨著一個(gè)新的需求：如果用戶想要生成的內(nèi)容無法用語言描述呢？
例如，用戶想生成某一個(gè)普通人的視頻，但僅在輸入文本中使用普通人的名字是無意義的，因?yàn)檎Z言模型無法識別不在訓(xùn)練語料中的個(gè)體姓名。
針對這個(gè)問題，一種可行的解決方案是基于給定個(gè)體訓(xùn)練個(gè)性化的模型。
例如，DreamBooth 和 Dreamix 通過多張圖片理解個(gè)體概念，從而進(jìn)行個(gè)性化的內(nèi)容生成，不過這兩種方法需要對每個(gè)個(gè)體分別進(jìn)行學(xué)習(xí)，并且需要該個(gè)體的多張訓(xùn)練圖片和精細(xì)化調(diào)參。
最近，來自新加坡國立大學(xué)（NUS）和華為諾亞實(shí)驗(yàn)室的研究者們在個(gè)性化視頻編輯上取得了新的進(jìn)展，通過多個(gè)集成模型的協(xié)同工作，無需對個(gè)性化概念進(jìn)行額外的訓(xùn)練和微調(diào)，僅僅需要一張目標(biāo)參考圖片，就能實(shí)現(xiàn)對已有視頻的主角替換、背景替換以及特定主角的文生視頻。
項(xiàng)目主頁：https://make-a-protagonist.github.io/
論文地址：https://arxiv.org/ pdf / 2305.08850.pdf
代碼地址：https://github.com/ Make-A-Protagonist / Make-A-Protagonist
這項(xiàng)研究為個(gè)性化視頻編輯領(lǐng)域帶來了新的可能性，使得生成個(gè)性化內(nèi)容變得更加簡便和高效。
介紹
Make-A-Protagonist 將視頻分為主角和背景，對二者使用視覺或語言參考信息，從而實(shí)現(xiàn)主角編輯、背景編輯和特定主角的文生視頻。
主角編輯功能允許用戶使用相同的場景描述，但通過參考圖像來替換視頻中的主角。這意味著用戶可以使用自己選擇的圖像來替換視頻中的主要角色。
背景編輯功能允許用戶使用與原始視頻相同的主角描述（例「Suzuki Jimny」），并使用原始視頻幀作為視覺信息，但可以更改對場景的文字描述（例如「in the rain」）。這樣，用戶可以保持相同的主角，但改變場景的描述，營造出不同的視覺效果。
特定主角的文生視頻功能將主角編輯和背景編輯結(jié)合起來。用戶可以使用參考圖像作為主角，并對場景進(jìn)行描述，從而創(chuàng)造出全新的視頻內(nèi)容。此外，對于多主角視頻，Make-A-Protagonist 還可以對單個(gè)或多個(gè)角色進(jìn)行更改。
與 DreamBooth 和 Dreamix 不同，Make-A-Protagonist 僅需要單張參考圖像，不需要對每個(gè)概念進(jìn)行微調(diào)，因此在應(yīng)用場景上更加靈活多樣。Make-A-Protagonist 為用戶提供了一種簡便而高效的方式來實(shí)現(xiàn)個(gè)性化的視頻編輯和生成。
方法
Make-A-Protagonist 使用多個(gè)強(qiáng)大的專家模型，對原視頻、視覺和語言信息進(jìn)行解析，并結(jié)合基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，實(shí)現(xiàn)通用視頻編輯。該模型主要由三個(gè)關(guān)鍵部分組成：原視頻解析，視覺和語言信息解析，以及視頻生成。
具體來說，Make-A-Protagonist 推理過程包括以下三步：首先使用 BLIP-2, GroundingDINO、Segment Anything 和 XMem 等模型對原視頻進(jìn)行解析，獲得視頻的主角掩碼，并解析原視頻的控制信號。
接下來，使用 CLIP 和 DALL-E 2 Prior 對視覺和語言信息進(jìn)行解析。最后，使用基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，利用解析信息生成新的內(nèi)容。
Make-A-Protagonist 的創(chuàng)新之處在于引入了基于視覺語言的視頻生成模型和基于掩碼的去噪采樣算法，通過整合多個(gè)專家模型并解析、融合多種信息，實(shí)現(xiàn)了視頻編輯的突破。
這些模型的運(yùn)用使得該系統(tǒng)更加精準(zhǔn)地理解原視頻、視覺和語言信息，并能夠生成高質(zhì)量的視頻內(nèi)容。
Make-A-Protagonist 為用戶提供了一款強(qiáng)大而靈活的工具，讓他們能夠輕松進(jìn)行通用的視頻編輯，創(chuàng)作出獨(dú)特而令人驚艷的視覺作品。
1. 原視頻解析
原視頻解析的目標(biāo)是獲取原視頻的語言描述（caption）、主角文字描述、主角分割結(jié)果以及 ControlNet 所需的控制信號。
針對 caption 和主角文字描述，Make-A-Protagonist 采用了 BLIP-2 模型。
通過對 BLIP-2 的圖像網(wǎng)絡(luò)進(jìn)行修改，實(shí)現(xiàn)了對視頻的解析，并使用 captioning 模式生成視頻的描述，這些描述在訓(xùn)練和視頻編輯中用于視頻生成網(wǎng)絡(luò)。
對于主角文字描述，Make-A-Protagonist 使用 VQA 模式，提出問題：「視頻的主角是什么？」并使用答案進(jìn)一步解析原視頻中的主角信息。
在原視頻中的主角分割方面，Make-A-Protagonist 利用上述得到的主角文字描述，在第一幀中使用 GroundingDINO 模型來定位相應(yīng)的檢測內(nèi)容，并使用 Segment Anything 模型獲得第一幀的分割掩碼。然后，借助跟蹤網(wǎng)絡(luò)（XMem），Make-A-Protagonist 得到整個(gè)視頻序列的分割結(jié)果。
除此之外，Make-A-Protagonist 利用 ControlNet 來保留原視頻的細(xì)節(jié)和動作，因此需要提取原視頻的控制信號。文中使用了深度信號和姿態(tài)信號。
通過這些創(chuàng)新的解析方法和技術(shù)，Make-A-Protagonist 能夠準(zhǔn)確地解析原視頻的語言描述、主角信息和分割結(jié)果，并提取控制信號，為后續(xù)的視頻生成和編輯打下了堅(jiān)實(shí)的基礎(chǔ)。
2. 視覺和語言信息解析
對于視覺信號，Make-A-Protagonist 在本文中采用 CLIP image embedding 作為生成條件，為了去除參考圖像背景的影響，類似于原視頻解析，Make-A-Protagonist 使用 GroundingDINO 和 Segment Anything 得到參考圖像主角的分割掩碼，使用掩碼將分割后的圖像輸入 CLIP 視覺模型，以獲取參考視覺信息。
語言信息主要用于控制背景，本文將語言信息用于兩方面，一方面使用 CLIP 語言模型提取特征，作為注意力網(wǎng)絡(luò)的 key 和 value。
另一方面，使用 DALL-E 2 Prior 網(wǎng)絡(luò)，將語言特征轉(zhuǎn)化為視覺特征，從而增強(qiáng)表征能力。
3. 視頻生成
3.1 視頻生成網(wǎng)絡(luò)訓(xùn)練
為了充分利用視覺信息，Make-A-Protagonist 使用 Stable UnCLIP 作為預(yù)訓(xùn)練模型，并對原視頻進(jìn)行微調(diào)，從而實(shí)現(xiàn)利用視覺信息進(jìn)行視頻生成。
在每個(gè)訓(xùn)練迭代中，Make-A-Protagonist 提取視頻中隨機(jī)一幀的 CLIP image embedding，將其作為視覺信息輸入到 Residual block 中。
3.2 基于掩碼的去噪采樣
為融合視覺信息和語言信息，本文提出基于掩碼的去噪采樣，在特征空間和隱空間對兩種信息進(jìn)行融合。
具體來說，在特征域，Make-A-Protagonist 使用原視頻的主角掩碼，將主角對應(yīng)部分使用視覺信息，背景對應(yīng)部分使用 DALL-E 2 Prior 轉(zhuǎn)化后的語言信息：
在隱空間中，Make-A-Protagonist 將僅使用視覺信息的推理結(jié)果和經(jīng)過特征融合的推理結(jié)果按照原視頻的主角掩碼進(jìn)行融合：
通過特征空間和隱空間的信息融合，生成的結(jié)果更加真實(shí)，并且與視覺語言表述更加一致。
總結(jié)
Make-A-Protagonist 引領(lǐng)了一種全新的視頻編輯框架，充分利用了視覺和語言信息。
該框架為實(shí)現(xiàn)對視覺和語言的獨(dú)立編輯提供了解決方案，通過多個(gè)專家網(wǎng)絡(luò)對原視頻、視覺和語言信息進(jìn)行解析，并采用視頻生成網(wǎng)絡(luò)和基于掩碼的采樣策略將這些信息融合在一起。
Make-A-Protagonist 展現(xiàn)了出色的視頻編輯能力，可廣泛應(yīng)用于主角編輯、背景編輯和特定主角的文生視頻任務(wù)。
Make-A-Protagonist 的出現(xiàn)為視頻編輯領(lǐng)域帶來了新的可能性。它為用戶創(chuàng)造了一個(gè)靈活且創(chuàng)新的工具，讓他們能夠以前所未有的方式編輯和塑造視頻內(nèi)容。
無論是專業(yè)編輯人員還是創(chuàng)意愛好者，都能夠通過 Make-A-Protagonist 打造出獨(dú)特而精彩的視覺作品。
參考資料：
https://make-a-protagonist.github.io/
本文來自微信公眾號：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。