Vision Pro 現(xiàn)在玩的太花了,什么時(shí)候能快進(jìn)到沉浸式玩 3D 游戲??
現(xiàn)在有個(gè)新研究,在 VR 里實(shí)時(shí)控制 3D 高斯?jié)姙R生成的物體,距離真正實(shí)現(xiàn)又前進(jìn)了一大步。
比如操作這個(gè)鐵馬,一不小心就鬼畜了……
再比如,調(diào)教了下這只烈狗。
來自 UCLA 人工智能和視覺計(jì)算實(shí)驗(yàn)室由蔣陳凡夫帶領(lǐng),還有港大、浙大、Style3D、CMU、猶他大學(xué)以及亞馬遜全華人,研究人員提出了一個(gè) VR 系統(tǒng) VR-GS。其中還看到了一個(gè)熟悉的圖形學(xué)大佬王華民。
具體來看看,是如何實(shí)現(xiàn)的。
在 VR 玩 3D 高斯?jié)姙R
在這項(xiàng)研究中,團(tuán)隊(duì)主要做了這三點(diǎn)貢獻(xiàn):
開發(fā)了高保真沉浸式的 VR 系統(tǒng),并做了廣泛評(píng)估。
實(shí)時(shí) 3D 內(nèi)容交互:該系統(tǒng)的工程設(shè)計(jì)側(cè)重于以人為本。
全面的系統(tǒng)集成,將 3D 高斯?jié)姙R、場(chǎng)景分割、圖像繪制、基于物理的實(shí)時(shí)求解器和新的渲染幾何嵌入算法等技術(shù)結(jié)合在了一起。
當(dāng)然,最核心的就是提出了物理感知交互式的 VR 系統(tǒng) VR-GS。
這個(gè)名字顧名思義,就是集成了 3D 高斯?jié)姙R(GS)和基于位置的擴(kuò)展動(dòng)力學(xué)(XPBD)。后者是一個(gè)高度適應(yīng)性和一致性的物理模擬器,用于實(shí)時(shí)變形模擬。
由于模擬和渲染過程具有不同的幾何表現(xiàn)形式,因此很難將模擬器直接集成到 3D 高斯內(nèi)核中。
為了解決這一難題,研究人員構(gòu)建了一個(gè)四面體籠,將每個(gè)分段的高斯內(nèi)核組嵌入到相應(yīng)的網(wǎng)格中。由 XPBD 驅(qū)動(dòng)的變形網(wǎng)格隨后引導(dǎo) GS 內(nèi)核的變形。
從多視角圖像開始,該流水線巧妙地將場(chǎng)景重建、分割和使用高斯核的修復(fù)結(jié)合在一起,除此之外,還進(jìn)一步融合了碰撞檢測(cè)、陰影投射等技術(shù)。
另外,他們還注意到,簡(jiǎn)單的嵌入會(huì)導(dǎo)致高斯內(nèi)核出現(xiàn)一些尖峰偽影的問題,因此提出了一種兩級(jí)嵌入方法,每個(gè)高斯核被嵌入到一個(gè)局部四面體中,局部四面體的頂點(diǎn)被獨(dú)立嵌入到全局網(wǎng)格中。
區(qū)別還是比較明顯的。
最終用戶反饋中,在包括易用性、延遲滿意度、系統(tǒng)功能和總體滿意度等方面都獲得了積極的評(píng)價(jià)。
研究團(tuán)隊(duì)
本項(xiàng)研究由 UCLA、港大、浙大、Style3D、猶他大學(xué)、CMU 以及亞馬遜等機(jī)構(gòu)的研究人員完成。
其中來自 UCLA 人工智能和視覺計(jì)算實(shí)驗(yàn)室蔣陳凡夫帶領(lǐng),Ying Jiang、Chang Yu、Tianyi Xie、Xuan Li 做出同等貢獻(xiàn)。
感興趣的朋友,可戳下方鏈接研究研究~
https://yingjiang96.github.io/VR-GS/
本文來自微信公眾號(hào):量子位 (ID:QbitAI),作者:白交
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。