Vision Pro 現(xiàn)在玩的太花了，什么時(shí)候能快進(jìn)到沉浸式玩 3D 游戲？？
現(xiàn)在有個(gè)新研究，在 VR 里實(shí)時(shí)控制 3D 高斯?jié)姙R生成的物體，距離真正實(shí)現(xiàn)又前進(jìn)了一大步。
比如操作這個(gè)鐵馬，一不小心就鬼畜了……
再比如，調(diào)教了下這只烈狗。
來自 UCLA 人工智能和視覺計(jì)算實(shí)驗(yàn)室由蔣陳凡夫帶領(lǐng)，還有港大、浙大、Style3D、CMU、猶他大學(xué)以及亞馬遜全華人，研究人員提出了一個(gè) VR 系統(tǒng) VR-GS。其中還看到了一個(gè)熟悉的圖形學(xué)大佬王華民。
具體來看看，是如何實(shí)現(xiàn)的。
在 VR 玩 3D 高斯?jié)姙R
在這項(xiàng)研究中，團(tuán)隊(duì)主要做了這三點(diǎn)貢獻(xiàn)：
開發(fā)了高保真沉浸式的 VR 系統(tǒng)，并做了廣泛評(píng)估。
實(shí)時(shí) 3D 內(nèi)容交互：該系統(tǒng)的工程設(shè)計(jì)側(cè)重于以人為本。
全面的系統(tǒng)集成，將 3D 高斯?jié)姙R、場(chǎng)景分割、圖像繪制、基于物理的實(shí)時(shí)求解器和新的渲染幾何嵌入算法等技術(shù)結(jié)合在了一起。
當(dāng)然，最核心的就是提出了物理感知交互式的 VR 系統(tǒng) VR-GS。
這個(gè)名字顧名思義，就是集成了 3D 高斯?jié)姙R（GS）和基于位置的擴(kuò)展動(dòng)力學(xué)（XPBD）。后者是一個(gè)高度適應(yīng)性和一致性的物理模擬器，用于實(shí)時(shí)變形模擬。
由于模擬和渲染過程具有不同的幾何表現(xiàn)形式，因此很難將模擬器直接集成到 3D 高斯內(nèi)核中。
為了解決這一難題，研究人員構(gòu)建了一個(gè)四面體籠，將每個(gè)分段的高斯內(nèi)核組嵌入到相應(yīng)的網(wǎng)格中。由 XPBD 驅(qū)動(dòng)的變形網(wǎng)格隨后引導(dǎo) GS 內(nèi)核的變形。
從多視角圖像開始，該流水線巧妙地將場(chǎng)景重建、分割和使用高斯核的修復(fù)結(jié)合在一起，除此之外，還進(jìn)一步融合了碰撞檢測(cè)、陰影投射等技術(shù)。
另外，他們還注意到，簡(jiǎn)單的嵌入會(huì)導(dǎo)致高斯內(nèi)核出現(xiàn)一些尖峰偽影的問題，因此提出了一種兩級(jí)嵌入方法，每個(gè)高斯核被嵌入到一個(gè)局部四面體中，局部四面體的頂點(diǎn)被獨(dú)立嵌入到全局網(wǎng)格中。
區(qū)別還是比較明顯的。
最終用戶反饋中，在包括易用性、延遲滿意度、系統(tǒng)功能和總體滿意度等方面都獲得了積極的評(píng)價(jià)。
研究團(tuán)隊(duì)
本項(xiàng)研究由 UCLA、港大、浙大、Style3D、猶他大學(xué)、CMU 以及亞馬遜等機(jī)構(gòu)的研究人員完成。
其中來自 UCLA 人工智能和視覺計(jì)算實(shí)驗(yàn)室蔣陳凡夫帶領(lǐng)，Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li 做出同等貢獻(xiàn)。
感興趣的朋友，可戳下方鏈接研究研究～
https://yingjiang96.github.io/VR-GS/
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：白交
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。