網(wǎng)友對 AI 生成圖片的各種嘗試，比想象中的還要狂暴。
之前把普通照片變成二次元畫風(fēng)的各種 AI，大家或多或少都了解過：
又或者是讓 AI 創(chuàng)造一個真實的美女：
不過這些都是靜態(tài)的圖片，有些人則在思考能不能讓 AI 搞出點(diǎn)片子來看。
近期外國知名視頻特效團(tuán)隊 Corridor 就整了一個狠活兒，AI 在他們手中要創(chuàng)作的不再是一幅畫，而是要讓畫面組成一個完成的動畫。例如下面這個片段，其實就是 AI 照著真人繪制的：
動畫中兩位王子進(jìn)行了了一場慘烈的決斗，而方式竟然是「剪刀石頭布」！雖然沙雕，但這畫面確實夠熱血的：
看不出來是 AI 做的？可以對比一下真人鏡頭，簡直完美同步，無縫切換：
畫面干凈，表情生動，沒有鬼畜，甚至畫風(fēng)還有點(diǎn)經(jīng)典。就好像是有一個動畫團(tuán)隊用畫筆照著現(xiàn)實中的人物繪制了一幅幅畫面。但其實 Corridor 僅僅用到了四五個人，而且他們壓根也都不會制作動畫。
可以想象一下，AI 先是讓你能從 0 基礎(chǔ)變成畫師，現(xiàn)在又有可能變成動畫制作者，聽起來創(chuàng)作更加輕松自由，這就有點(diǎn)科幻了。
所以，他們到底是怎么做的？
整個步驟簡單來說，就是先讓真人演一下，然后讓 AI 把真人視頻弄成動畫版本。當(dāng)然這個過程說起來容易，做起來復(fù)雜。
他們使用的工具是我們之前介紹過的 Stable Diffusion，關(guān)鍵詞給到 AI，根據(jù)你添加的模板，它能幫忙生成各種風(fēng)格的畫面。
而想做視頻首先要解決的問題，就是畫面的不穩(wěn)定性。
因為每一幀的畫面不同，AI 生成的畫面也會有明顯差異。例如之前網(wǎng)友制作的「塞爾達(dá)風(fēng)格侏羅紀(jì)公園」，作品已經(jīng)相當(dāng)流暢，但依然可以看出人物本身都在飛速變化，發(fā)型不斷改變。
所以 Corridor 先嘗試在幾幀內(nèi)固定了畫面風(fēng)格，以此來讓畫面大體穩(wěn)定住，不要變動得太離譜。
但此時人物風(fēng)格依然在不斷轉(zhuǎn)變，比如每張圖中，角色的眼睛大小、畫風(fēng)都會更換，甚至有時候戴眼鏡有時候不戴。
為了解決這個問題，就要用到一個固定的模型，統(tǒng)一畫風(fēng)，讓 AI 別想太多。
于是他們用《吸血鬼獵人 D》的畫面對 AI 進(jìn)行訓(xùn)練，使用的截圖包括各種面部特寫、肢體、身體等等：
這樣一來，生成的畫面都是以這部動畫為基礎(chǔ)，眼睛也就不會忽大忽小了。
同時還要解決一個問題，那就是臉部的細(xì)節(jié)依然不穩(wěn)定，而處理這個問題的方法，就是同時訓(xùn)練一個演員自己的真人模型。需要演員穿上戲服，然后多角度瘋狂拍照，給 AI 制作素材。
制作團(tuán)隊不僅要給 AI 鎖定了動畫的風(fēng)格，同時也要鎖定演員的樣貌，大幅度減少生成的圖片的隨機(jī)性。
經(jīng)過訓(xùn)練的 AI 也可以生成演員的圖像，只不過手指頭偶爾還是殘缺的。
接著還需要繼續(xù)訓(xùn)練，用演員的照片生成動畫形象，不斷迭代，最終才有了比較滿意且穩(wěn)定的動畫形象。
在多重訓(xùn)練的加持下，動畫的效果也就變得理想了一些，畫面的統(tǒng)一性基本穩(wěn)定下來了：
再用上視頻特效技術(shù)減少閃爍，畫面由此變得更加驚艷，人物的情緒飽滿，動作連貫而且流暢：
再加一些漫畫特效，你說這是某部動畫里剪輯出來的片段都沒問題。
接下來他們要給自己的動畫設(shè)計故事情節(jié)與背景：「國王死了，兩個王子要用石頭剪刀布爭奪王位」，這劇情聽著都像是 AI 寫的。
技術(shù)有了，故事腳本有了，接下來開始正式制作。例如開始配音，雖然沒有畫面，但幾位老哥還是吼到聲嘶力竭。
之后就是從網(wǎng)上搞一下服裝，兩個主演穿上就去拍戲了。
真人視頻拍好就交給 AI 處理畫面，同時加入各種細(xì)節(jié)對畫面進(jìn)行調(diào)整。
于是現(xiàn)實中的各種演出，就這樣被 AI 一點(diǎn)點(diǎn)給動畫化了。
把綠幕摳掉，人物素材就基本完成。
接著還需要制作背景。于是他們直接用虛幻引擎中的素材，從素材中尋找鏡頭圖片：
然后把圖喂給 AI，再生成一大堆的背景圖。
接下來就是對視頻的整合與進(jìn)一步處理，包括鏡頭、衣服、光線的變化等等。
例如讓背景平移，這樣鏡頭看起來像是在旋轉(zhuǎn)，動態(tài)感就有了：
人物與背景相結(jié)合，最后輸出成動畫：
在動畫中，甚至一些微表情也能對照真人進(jìn)行還原，眼角的跳動，嘴角的抽搐，真人怎么做，AI 就怎么畫：
石頭剪刀布搞得像是放出了殺招一樣，看著又尬又好玩：
這樣的制作，已經(jīng)完全脫離 AI 畫圖的感覺了。
這部動畫在推出后目前已經(jīng)有了超過 200 萬的播放量，并引發(fā)了激烈討論。
大多數(shù)人的觀點(diǎn)再次認(rèn)為，AI 將引發(fā)新一輪的革命，要失業(yè)的感覺籠罩了不少網(wǎng)友。
但也有人指出，AI 的成本并不比畫師的工作量小。
首先，Corridor 是一個極為專業(yè)的特效團(tuán)隊，每個人都能力出眾。以前惡搞波士頓動力機(jī)器人反殺人類的視頻就出自他們之手，當(dāng)時很多人對此都真假難分。
所以與其說是 AI 生成得好，不如說他們本身就拍得好，花了兩個月才有了動畫的精彩演出，普通人想要這樣操作還有點(diǎn)遙遠(yuǎn)。
同時畫風(fēng)也是鎖死的，因為他們的動畫是根據(jù)真人來制作的，所以畫風(fēng)也貼近寫實，如果畫風(fēng)再夸張一點(diǎn)效果可能又會變得不理想。
最后爭論的就是版權(quán)問題，不少畫師還是很抵觸自己的作品被喂給 AI 的。
但想要完全脫離畫師制作動畫也不現(xiàn)實，像是這次的制作就還是使用了《吸血鬼獵人 D》的畫面進(jìn)行訓(xùn)練，想讓 AI 完全自己繪制還是兩個概念。
對此也有人指出，只要工具好用，動畫公司會自己搞定版權(quán)，最后受傷的只有普通打工人。
話說回來，我還是對 AI 的成長充滿期待。
生成一張圖片，改變圖片的風(fēng)格，生成真人，又把真人變成動畫，AI 的玩法明顯越來越多。過幾天說不定語音都不用真人去錄制，視頻都不再用真人去拍攝。
按照這個進(jìn)化趨勢，以后把一部電視劇喂給 AI，說不定也能輕松輸出一部動畫版本。一想到這里，這下不得不期待了。
參考資料：
https://twitter.com/t_takasaka
https://www.youtube.com/@Corridor/videos
https://www.youtube.com/watch?v=GVT3WUa-48Y&t=95s
https://www.youtube.com/watch?v=ljBSmQdL_Ow&t=296s
https://www.youtube.com/watch?v=_9LX9HSQkWo&t=3s
https://www.corridordigital.com/
https://twitter.com/CorridorDigital
https://twitter.com/CorridorDigital/status/1630330915284197376
本文來自微信公眾號：狂丸研究所 （ID：kuangwanplay），作者：狂丸
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。