還記得你玩 VR 的時候，完全看不到自己下半身的樣子嗎？
畢竟，目前的 VR 設備通常只有手柄和頭顯，沒有下半身傳感器，系統(tǒng)無法直接判斷下半身的動作，預測時也容易出 bug。
現(xiàn)在，Meta 終于邁出了一大步 —— 只憑頭顯（甚至不用手柄），就能搞定全身動捕，連雙腿的不同動作都預測得一清二楚！
新研究一 po 出就在網(wǎng)上爆火。
有網(wǎng)友調(diào)侃，小扎的元宇宙終于要有腿了，順手還 po 了個 Meta 的股票。
還有 VR 玩家感到高興：玩游戲時終于可以在身上少掛點硬件了！
這項研究究竟是如何只用頭顯做到全身動捕的？
給強化學習 AI 搞個物理約束
研究人員設計了一個框架，以頭顯（HMD）和手柄控制器的位置和方向數(shù)據(jù)作為輸入，其他數(shù)據(jù)全靠 AI 預測。
為此，他們先基于強化學習訓練了一個策略（policy，基于三層 MLP），根據(jù)僅有的 HMD 和手柄數(shù)據(jù)，盡可能逼真地還原真實動作捕捉的姿勢（動捕數(shù)據(jù)一共 10 小時）。
他們搞了 4000 個身高不同的仿真人形機器人，每個機器人具有 33 個自由度。
隨后，將這些機器人在英偉達的 Isaac Gym（一個專門用于強化學習研究的機器人物理模擬環(huán)境）中同時進行訓練，比單個環(huán)境下訓練一個機器人要更快。
在物理環(huán)境中一共訓練了 2 天（約 140 億步）后，這只框架就能基于這個強化學習策略，根據(jù)頭顯和手柄數(shù)據(jù)直接預測用戶全身動作了 ——
包括慢跑、行走、后退或過渡動作（transition）等。
不僅如此，Isaac Gym 還允許添加其他不同的模擬對象，因此還能通過訓練環(huán)境復雜度以增強動作真實性。
例如，根據(jù)虛擬環(huán)境中新增的皮球，模擬出“踢”的交互動作：
所以，相比其他模型，為什么這個框架預測的效果更好？
（此前雖然也有手柄和頭顯預測全身姿態(tài)的 AI，但預測全身動作時往往會出現(xiàn)身體不自然抖動、走路時腳像是在“滑冰”、接觸力不穩(wěn)定等 bug）
Meta 研究人員分析后認為，此前模型難以準確預測下半身姿態(tài)的原因，是預測時上下半身的關聯(lián)度較小。
因此，如果在預測時增加一定的物理約束（人體力學），例如慣性平衡和地面接觸力等，就能讓預測精度更上一層樓。
△ 腳上的紅色直條大小表示接觸力大小
研究人員還進一步發(fā)現(xiàn)，即使不用手柄控制器，只需要頭顯的 60 個姿勢（包含位置和方向數(shù)據(jù)），就足以重建各種運動姿態(tài)，還原出來的效果同樣沒有物理偽影。
除此之外，由于這個策略是基于 4000 個身高不同的仿真人形機器人訓練，因此它也能自動根據(jù)用戶的不同身高來調(diào)整策略（具有基于動捕的重定向功能）。
不過，也有網(wǎng)友好奇他為什么要采用強化學習來預測運動姿態(tài)，畢竟當前監(jiān)督學習是主流方法。
對此作者回應稱，強化學習更方便加入物理約束（即降低抖動、腳滑等 bug 的關鍵原因），但對于監(jiān)督學習來說，這通常是個難點。
但研究人員也表示，目前這個框架還有一定限制，如果用戶做的動作不包含在訓練數(shù)據(jù)中（例如快速沖刺）、或是進行了某些過于復雜的交互，那么虛擬環(huán)境中的仿真機器人就可能當場跌倒、或出現(xiàn)模擬失敗的情況。
作者介紹
三位作者都來自 Meta。
一作 Alexander W. Winkler，目前是 Meta Reality Lab 的研究科學家，研究方向是非線性數(shù)值優(yōu)化、高自由度運動規(guī)劃、基于三維物理的仿真和可視化等。
他本碩畢業(yè)于德國卡爾斯魯厄理工學院（KIT），博士畢業(yè)于瑞士蘇黎世聯(lián)邦理工學院（ETH）。
Jungdam Won，目前是 Meta AI Lab 的研究科學家，本科和博士畢業(yè)于韓國首爾大學計算機科學與工程系，研究方向包括強化學習中智能體的控制和交互，以及通過機器學習方法優(yōu)化動作捕捉等。
Yuting Ye，目前是 Meta Reality Lab 的研究科學家，參與過 Quest 和 Quest 2 的手柄跟蹤功能研發(fā)，本科畢業(yè)于北京大學，并在弗吉尼亞大學獲得碩士學位，博士畢業(yè)于佐治亞理工學院，研究方向是動作捕捉和元宇宙等。
論文地址：
https://arxiv.org/abs/2209.09391
參考鏈接：
https://twitter.com/awinkler_/status/1572968904401776641
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。