本周一，愛丁堡大學(xué)的研究人員開發(fā)了一種基于人工神經(jīng)網(wǎng)絡(luò)的模型，用以自動生成電影預(yù)告片。
電影制作公司發(fā)布的預(yù)告片，通常是其宣傳新電影時采用的促銷策略中的關(guān)鍵要素。為了讓預(yù)告片的效益最大化，該短片應(yīng)該簡要總結(jié)電影的情節(jié)，以吸引人的方式傳達(dá)其藝術(shù)風(fēng)格和情緒意境。
到目前為止，電影預(yù)告片主要是由人類制作的。然而，最近一些計算機(jī)科學(xué)家開始探索這些宣傳片也可以由機(jī)器自動生成的可能性。
愛丁堡大學(xué)的研究人員將電影片段建模為圖形，通過無監(jiān)督學(xué)習(xí)算法來識別、生成電影預(yù)告片。
該模型在 11 月 16 日發(fā)表于 arXiv 上的一篇論文中提出。
論文鏈接：
https://techxplore.com/news/2021-11-automatically-movie-trailers.html
一、AI 剪片，兼顧敘事結(jié)構(gòu)和情感
為了自動創(chuàng)建預(yù)告片，研究人員構(gòu)建的算法模型需要先執(zhí)行低級別的任務(wù)，如人物識別、動作識別和情緒預(yù)測，還需要執(zhí)行更高級別的任務(wù)，如理解事件之間的聯(lián)系及其因果關(guān)系，對特征及其動作進(jìn)行推斷。
考慮到任務(wù)的復(fù)雜性，算法模型直接從電影預(yù)告片中獲取所有這些信息將需要成千上萬個樣本，而這些樣本的處理和標(biāo)注也將是一個挑戰(zhàn)。
因此，以前的自動預(yù)告片生成方法僅僅集中在視聽特征上是不足為奇的。
受人工編輯預(yù)告片的創(chuàng)造性過程的啟發(fā)，為了更好地處理自動電影預(yù)告片生成的任務(wù)，愛丁堡大學(xué)的研究人員采用了一種自下而上的方法來生成預(yù)告片，他們將預(yù)告片分解為兩個更簡單且定義明確的子任務(wù)，即電影敘事結(jié)構(gòu)的識別和對其傳達(dá)的情感的預(yù)測，他們創(chuàng)建的模型可以處理電影的一部分視頻和電影劇本中的文本提取。
“我們利用劇本作為信息的來源，提取關(guān)于電影中的事件、角色和場景的知識，然后利用這些知識在視頻中確定值得發(fā)布預(yù)告片的鏡頭。”
“我們將電影建模為圖形，鏡頭作為節(jié)點，用來表示圖形之間的語義關(guān)系?！边M(jìn)行這項研究的三位研究人員 Pinelopi Papalamidi、Frank Keller 和 Mirella Lapata 在他們的論文中寫道。
▲ 建立圖片模型
“我們使用聯(lián)合對比訓(xùn)練來學(xué)習(xí)這些鏡頭關(guān)系，通過無監(jiān)督算法模型瀏覽圖片并生成預(yù)告片?！?/p>
此外，未標(biāo)注的劇本文本語料庫也比較容易獲得，可以用來對該模型進(jìn)行預(yù)訓(xùn)練。
二、五大步驟，兩個模型“研磨”劇本和影像
在這個算法模型中，對兩個子任務(wù)的實現(xiàn)方式與傳統(tǒng)的預(yù)告片產(chǎn)生方式不同。
首先是敘事結(jié)構(gòu)的識別，即檢索電影中最重要的事件。電影編劇中普遍采用的理論認(rèn)為，電影中有五種關(guān)鍵事件，稱為轉(zhuǎn)折點（TPs），如下圖所示，這五個關(guān)鍵事件分別為機(jī)會、計劃改變、沒有回報、主要挫折、高潮。
▲ 電影敘事中的五個關(guān)鍵事件
第二個子任務(wù)是情緒預(yù)測，研究人員將其視為鏡頭和喚起的情緒之間的關(guān)系近似值。
研究人員按照一種非監(jiān)督的基于圖形的方法來生成預(yù)告片。此外，鏡頭帶有表示它們是否是關(guān)鍵事件的標(biāo)簽，并帶有表示情緒強度，如積極或消極的分?jǐn)?shù)。
▲ 選取關(guān)鍵轉(zhuǎn)折點
該算法通過瀏覽利用電影建模生成的圖形來創(chuàng)建預(yù)告片序列，然后由人工編輯進(jìn)行審核和修改。
關(guān)鍵事件轉(zhuǎn)折點識別和情緒預(yù)測的任務(wù)都得益于對電影內(nèi)容的較低層次的理解。
事實上，該算法可以利用現(xiàn)成的模塊來識別字符和圖形位置、記錄動作和定位語義單元。然而，這種方法大大增加了訓(xùn)練和推理過程中的預(yù)處理時間和內(nèi)存需求，并且產(chǎn)生理解錯誤的問題。
因此，研究人員提出了一種對比學(xué)習(xí)機(jī)制，在這種機(jī)制中，利用只有在培訓(xùn)時間才能獲得的電影劇本中的有效信息。電影劇本可以揭示電影如何被分割成場景，電影角色基本情況，他們在和誰說話，他們在哪里，他們在做什么等內(nèi)容，也就是電腦的“場景標(biāo)題”和“動作線”可以解釋動作發(fā)生的位置、描述鏡頭看到的東西。
▲ 生成預(yù)告片
具體來說，研究人員構(gòu)建了兩個獨立的神經(jīng)網(wǎng)絡(luò)模型，一個是基于劇本的文本網(wǎng)絡(luò)，另一個是基于視頻的時間線網(wǎng)絡(luò)，并使用對比對它們進(jìn)行聯(lián)合訓(xùn)練。
結(jié)合起來，這兩個神經(jīng)網(wǎng)絡(luò)可以識別電影中的關(guān)鍵時間，并呈現(xiàn)在預(yù)告片中。
文本網(wǎng)絡(luò)還可以通過自我監(jiān)督的學(xué)習(xí)對大量的電影劇本進(jìn)行預(yù)處理，而不必收集和處理相應(yīng)的電影畫面。實驗結(jié)果表明，這種對比訓(xùn)練方法是有益的，可以使預(yù)告片在內(nèi)容和吸引力方面得到人們的好評。
▲ 研究人員提出的神經(jīng)網(wǎng)絡(luò)模型框架
三、41 部預(yù)告片，轉(zhuǎn)折點評估更準(zhǔn)確
研究人員通過一系列測試來評估該模型制作電影預(yù)告片的水平，結(jié)果顯示它可以比其他用于生成電影預(yù)告片的基線方法更準(zhǔn)確地識別電影中的轉(zhuǎn)折點。
此外，研究人員還使用他們的模型為 41 部不同的電影制作了預(yù)告片。然后，他們在美國數(shù)據(jù)標(biāo)注眾包平臺 Amazon Mechanical Turk 招募了一些觀眾，詢問他們喜歡看的電影預(yù)告片是哪些，然后將電影原有的預(yù)告片和通過他們的模型生產(chǎn)的預(yù)告片進(jìn)行對比，獲得觀眾對兩種預(yù)告片的評價。
有趣的是，大多數(shù)受訪者更喜歡由他們的無監(jiān)督模型創(chuàng)建的預(yù)告片，而不是由監(jiān)督模型制作的預(yù)告片。也有部分預(yù)告片獲得了較低的評價。
將電影建模為圖片并進(jìn)行大范圍的計算，替代之前的單獨選擇鏡頭，有助于創(chuàng)建連貫的預(yù)告片。然而，同樣的模式也存在確定，這種方法本身并不能保證高質(zhì)量的預(yù)告片產(chǎn)出。
研究人員在他們的論文中補充說：“未來，我們希望更多專注于預(yù)測電影中的細(xì)粒度情緒的方法，例如，悲傷、厭惡、恐怖、快樂。在這項工作中，由于缺乏標(biāo)記數(shù)據(jù)集，我們將積極、消極情緒視為情緒的替代品?！?/p>
結(jié)語：加速預(yù)告片制作，情感數(shù)據(jù)集仍欠缺
初步實驗表明，Papalampidi、Keller 和 Lapata 創(chuàng)建的模型可能還不能制作出完美的預(yù)告片，對于預(yù)告片是否劇透、情緒傳遞的準(zhǔn)確性問題還有待解決。將精細(xì)的情感知識從其他領(lǐng)域轉(zhuǎn)移到預(yù)告片制作領(lǐng)域會導(dǎo)致不可靠的預(yù)測。未來的工作包括新的電影情感數(shù)據(jù)集，以及基于文本和視聽線索的情感檢測模型。
但該模型最終可能會被電影制作公司用來促進(jìn)和加快預(yù)告片的制作。同時，該團(tuán)隊計劃繼續(xù)研究他們的技術(shù)，以進(jìn)一步提高其生產(chǎn)的預(yù)告片的質(zhì)量。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。