哎鴨，鴨鴨摔倒了！鴨鴨是真的，摔跤是真的，但端的咖啡和端咖啡的手，是 AI 給 p 上去的。
△ 還好手里的咖啡只灑了億點(diǎn)點(diǎn)
來自一個(gè)開源項(xiàng)目，VideoDoodles，這兩天在外網(wǎng)上的討論度直線上升。
這項(xiàng)目妙就妙在，能給視頻加上手繪風(fēng)格的涂鴉，可可愛愛的也行，奇奇怪怪的也行。
就跟人工一幀一幀畫上去的沒差。
這對(duì)目前市場(chǎng)上大多數(shù)的 2D 視頻編輯軟件來說，還是比較難的。想要達(dá)成同等效果，一般還是得創(chuàng)作者真?一幀一幀畫上去。怪費(fèi)力氣的。
但 VideoDoodles 能靠在視頻中重建 3D 場(chǎng)景，然后在其中放置平面畫布，來生成這種效果。
不少人表示，可以用它來裝飾視頻，加加卡通效果 or 花字，然后進(jìn)一步加工成 meme / 表情包。
搞笑視頻也安排，在路上了！
想加什么手繪效果就加什么
VideoDoodles 是醬嬸宣稱自己的效果的：
在視頻中輕松、任意地插入手繪動(dòng)畫，還是和視頻內(nèi)容無縫融合的那種。
真的嗎？一起來看看。
和給鴨鴨加胳膊加手一樣，VideoDoodles 可以給任意物種加上四肢。
火烈鳥可以端著自己搖晃的紅酒杯，悠閑地在水里泡 jio。
小火車從遠(yuǎn)處駛來，揮舞著雙手，xiu 的從鏡頭里開過去了。
當(dāng)然，想要加一個(gè)四肢健全的動(dòng)物在視頻片段里，也是沒問題的。
Be like 這個(gè)肩膀上的小松鼠：
可以看到，不管這位女士怎么步行前進(jìn)，小松鼠都老老實(shí)實(shí)呆在她肩膀上。
除了肢體動(dòng)作，也可以用 VideoDoodles 來給視頻片段加綜藝后期的花字。
靜態(tài)文字：
動(dòng)來動(dòng)去的文字：
都有不錯(cuò)的生成效果。
以及，蹭一個(gè)剛結(jié)束的奧運(yùn)會(huì)的余熱，VideoDoodles 可以給各種各樣的大幅度運(yùn)動(dòng)加手繪。
或是箭頭指向：
或是超人卡通特效：
咋實(shí)現(xiàn)的？
給視頻內(nèi)容加上手繪動(dòng)畫，現(xiàn)在的慣常做法，是把視頻本身作為底層，然后利用人工逐幀繪制 2D 動(dòng)畫效果。
這樣做效率相對(duì)較低，而且需要保證手繪動(dòng)畫效果要跟蹤動(dòng)態(tài)、解決透視變形和適配遮擋物。
能搞定，但費(fèi)人費(fèi)時(shí)間。
那么，VideoDoodles 是如何處理動(dòng)態(tài)物體的跟蹤，還有動(dòng)畫同步的呢?
它提供了一簡單的界面來幫助大家完成視頻涂鴉 ——“簡單”，意味著老手和小白都能輕松畫起來。
而項(xiàng)目背后，是利用 3D 場(chǎng)景重建技術(shù)，實(shí)現(xiàn)涂鴉自然融入視頻場(chǎng)景，包括追蹤、透視變形和遮擋等復(fù)雜視覺效果。
具體而言，VideoDoodles 先把視頻內(nèi)容進(jìn)行 3D 重建，而后在視頻中放置平面畫布，這些畫布在 3D 場(chǎng)景中被跟蹤，然后逐幀添加手繪動(dòng)畫。
通過自定義算追蹤算法，VideoDoodles 鎖定畫布對(duì)應(yīng)的視頻場(chǎng)景中的物體，完成畫布跟隨物體運(yùn)動(dòng)進(jìn)行移動(dòng)和旋轉(zhuǎn)。
在 VideoDoodles 的用戶交互界面中，用戶可以通過關(guān)鍵幀位置和方向，在 2D 圖像空間的 UI 中精細(xì)控制畫布。
而系統(tǒng)則是通過跟蹤視頻中，移動(dòng)對(duì)象的運(yùn)動(dòng)來精心插入關(guān)鍵幀。
簡而言之，VideoDoodles 是根據(jù)關(guān)鍵幀表達(dá)的用戶意圖，利用自有算法解決被遮擋、透視變換，在視頻的任意幀渲染場(chǎng)景感知畫布，并使畫布緊緊跟隨移動(dòng)的物體。
而且關(guān)鍵幀可以有任意數(shù)量的位置、方向。
如下面這張圖，VideoDoodles 就是通過第一幀涂紅部分處的方向 & 位置，和最后一幀涂綠的位置，從而在整個(gè)視頻中連貫地渲染相應(yīng)的畫布。
具體操作中，流程大致是這樣的：
最后介紹一下：
VideoDoodles 這項(xiàng)研究，由 Adobe 研究院，蔚藍(lán)海岸大學(xué)，以及代爾夫特理工大學(xué)的研究人員共同完成。
研發(fā)團(tuán)隊(duì)負(fù)責(zé)人表示：
我們的目標(biāo)是簡化“視頻涂鴉”的創(chuàng)作過程。
這種新興的混合媒介藝術(shù)形式結(jié)合了視頻內(nèi)容和手繪動(dòng)畫，可以用于娛樂或教育目的。
有了 VideoDoodles，希望更多人能夠輕松實(shí)現(xiàn)「將想象力注入現(xiàn)實(shí)世界」。
參考鏈接：
[1]https://em-yu.github.io/research/videodoodles/
[2]https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf
本文來自微信公眾號(hào)：量子位（ID：QbitAI），作者：衡宇，原標(biāo)題：《AI 斗圖神器：普通視頻秒變 meme，手繪動(dòng)畫輕松融入，了解一下？》
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。