你有沒有看過油管很火的外國小姐姐模仿游戲 NPC 視頻？
這僵硬的姿勢、空洞的眼神、面癱的表情，讓游戲玩家們直呼 DNA 動(dòng)了！
如果你也苦于此很久了，現(xiàn)在，網(wǎng)易的一項(xiàng)新技術(shù)將輕松改變這一局面：
只需一段語音，AI 就能自動(dòng)生成 3D 對(duì)話動(dòng)作，效果甚至超越真人！
不僅能按角色的性別、說話的習(xí)慣和姿態(tài)，合成不同風(fēng)格的動(dòng)作，還可自由替換或指定待定動(dòng)作。
目前，該技術(shù)已在語音合成手勢動(dòng)作領(lǐng)域的權(quán)威賽事 GENEA 2022 上斬獲第一，并被 ICMI 2022 收錄。
效果超越真人的新技術(shù)
在此之前，業(yè)界最常用的語音合成對(duì)話動(dòng)作技術(shù)是 StyleGestures。
該技術(shù)由美國藝電（Electronic Arts）推出，曾在 2 年前的第一屆 GENEA 2020 中取得第一。
但與真實(shí)動(dòng)捕數(shù)據(jù)相比，StyleGestures 合成的動(dòng)作仍有明顯的機(jī)械感，且缺少可控性，不同的語音合成效果很隨機(jī)，有種碰運(yùn)氣的感覺。
為了解決這兩個(gè)問題，網(wǎng)易的新技術(shù)分為離線的數(shù)據(jù)庫構(gòu)建和在線的語音驅(qū)動(dòng)動(dòng)作合成兩個(gè)模塊進(jìn)行。
數(shù)據(jù)庫構(gòu)建
GENEA 2022 主辦方發(fā)布的 18 小時(shí)數(shù)據(jù)集中，包括不同說話人的語音、文本和對(duì)應(yīng)的全身動(dòng)作。
由于沒有經(jīng)過人工的清洗和處理，導(dǎo)致動(dòng)作數(shù)據(jù)中有很大一部分的動(dòng)作質(zhì)量較差。
因此，研究人員需要先對(duì)此進(jìn)行預(yù)處理：舍棄動(dòng)作質(zhì)量較差的數(shù)據(jù)、完善不帶手指旋轉(zhuǎn)信息的動(dòng)作、再通過左右對(duì)稱的方式生成更多的數(shù)據(jù)集。
其次，根據(jù)說話文本單詞之間的時(shí)間間隔，將連續(xù)的文本切分為短片段。
并且針對(duì)時(shí)長小于 1s 的連續(xù)動(dòng)作進(jìn)行合并，對(duì)左右半身的動(dòng)作進(jìn)行鏡像擴(kuò)充，最終得到約 6000 個(gè)全身動(dòng)作片段，以及時(shí)長范圍從 1s 的短句到超過 10s 的長句。
接下來是對(duì)動(dòng)作節(jié)奏和語音節(jié)奏進(jìn)行自動(dòng)標(biāo)注。
動(dòng)作方面，說話人每做出一個(gè)變化的手勢，就對(duì)應(yīng)于一個(gè)節(jié)奏變化的時(shí)間點(diǎn)，簡單來說就是特定單詞重音時(shí)需要手勢進(jìn)行一次變化，即手勢有一個(gè)明顯的速度變化的過程。
因此通過計(jì)算雙手速度的極小值，把每個(gè)極小值的時(shí)間點(diǎn)作為節(jié)奏的時(shí)間點(diǎn)，最后每個(gè)動(dòng)作片段的節(jié)奏可以表示為長度為 32 位的 0-1 向量，1 表示手勢動(dòng)作變化的時(shí)間點(diǎn)。
語音方面，根據(jù)語音對(duì)應(yīng)文本中的每個(gè)單詞時(shí)間點(diǎn)信息，同樣可以得到語音對(duì)應(yīng)的節(jié)奏。
如下圖所示，每個(gè)語音片段的節(jié)奏可以表示為長度為 32 位的 0-1 向量，1 表示單詞出現(xiàn)的時(shí)間點(diǎn)。
最后，在對(duì)每個(gè)動(dòng)作片段建立動(dòng)作節(jié)奏后，還需要建立動(dòng)作圖。
動(dòng)作圖是一個(gè)有向圖，圖中的每個(gè)節(jié)點(diǎn)表示一個(gè)動(dòng)作片段，兩個(gè)節(jié)點(diǎn)之間的連邊則表示這兩個(gè)動(dòng)作之間過渡的代價(jià)。
過渡代價(jià)越小，也就意味著兩個(gè)動(dòng)作之間的過渡越自然，這一步可以幫助將離散的動(dòng)作片段合并為長的平滑過渡的全身動(dòng)作序列。
語音驅(qū)動(dòng)動(dòng)作合成
在離線建立動(dòng)作庫之后，就可以輸入任意一段語音和對(duì)應(yīng)的文本進(jìn)行在線合成。
在對(duì)語音和文本進(jìn)行算法自動(dòng)切分后，利用訓(xùn)練后的 StyleGestures 這一概率生成式的神經(jīng)網(wǎng)絡(luò)模型，生成期望的動(dòng)作。
其中，上半身的動(dòng)作最為重要，研究人員利用動(dòng)態(tài)規(guī)劃算法，從構(gòu)建的動(dòng)作圖中搜索動(dòng)作節(jié)奏和動(dòng)作風(fēng)格嵌入匹配誤差最小的動(dòng)作序列，同時(shí)保證前后動(dòng)作的過渡代價(jià)小、過渡自然，最后輸出一個(gè)節(jié)奏匹配的上半身動(dòng)作序列。
下半身動(dòng)作的合成則不用考慮節(jié)奏，只考慮下半身動(dòng)作之間過渡的自然性即可，同樣經(jīng)過圖優(yōu)化得到一個(gè)下半身動(dòng)作序列。
最后，采用混合的方式融合上下半身動(dòng)作，就得到了和語音文本匹配的全身動(dòng)作序列。
與其他參賽系統(tǒng)相比，網(wǎng)易的新方法在在人類相似性評(píng)估中取得了最高的中位數(shù)分?jǐn)?shù)，甚至超越了真實(shí)人類水平。
在適當(dāng)性評(píng)價(jià)中，該方法在上半身表現(xiàn)中排名第一，在全身表現(xiàn)中排名第二。
研究團(tuán)隊(duì)
研究團(tuán)隊(duì)來自網(wǎng)易互娛 AI Lab，作者共三人。
研究人員指出，這項(xiàng)新技術(shù)不僅可用于游戲中，虛擬角色線上演講、數(shù)字人動(dòng)作動(dòng)畫合成、元宇宙形象等等場景也都能使用。
論文鏈接附在文末，感興趣的小伙伴可以自取～
論文鏈接：
https://dl.acm.org/doi/pdf/10.1145/3536221.3558063
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：羿閣
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。