大衛(wèi)復(fù)活，英偉達(dá)再造「神經(jīng)朗基羅」，3D 重建肌肉紋理肉眼可見

今天，英偉達(dá)再造了 16 世紀(jì)的米開朗基羅「Neuralangelo」。

快看，Neuralangelo「復(fù)刻」出 3D 版的著名雕像大衛(wèi)，大理石的細(xì)節(jié)、紋理栩栩如生。

要知道，收藏在佛羅倫薩美術(shù)學(xué)院的大衛(wèi)雕像，僅身高 3.96 米，加上基座都有 5.5 米。

它甚至可以重建一棟建筑物的內(nèi)外部結(jié)構(gòu)，屋頂瓦片、玻璃窗格、還有各種細(xì)節(jié)都一一再現(xiàn)。

來自英偉達(dá)和約翰霍普金斯大學(xué)的研究人員提出的新型 AI 模型，利用神經(jīng)網(wǎng)絡(luò)重建 3D 物體。

最新研究已被 CVPR 2023 錄用。

特別是，Neuralangelo 可以從手機(jī)視頻，無人機(jī)拍攝的視頻重建「高保真的大規(guī)模場景」。

那豈不是未來，就能輕易地把一座城市、甚至外太空的視頻，變成一個(gè)沉浸式的世界，再裝進(jìn)游戲去體驗(yàn)。

網(wǎng)友驚呼，英偉達(dá)黑了「矩陣」世界！

甚至，還有人稱，蘋果 XR 技術(shù)，再加上 Neuralangelo，就能創(chuàng)造「new worlds」了。

效果演示

重建 3D 場景

以前的 AI 模型在重建 3D 場景時(shí)，往往難以準(zhǔn)確捕捉到重復(fù)的紋理模式、均勻的顏色以及強(qiáng)烈的色彩變化。

為此，團(tuán)隊(duì)提出了一個(gè)將多分辨率 3D 哈希網(wǎng)格的表征能力和神經(jīng)表面渲染相結(jié)合的全新方法 ——Neuralangelo。

去年，英偉達(dá)研究人員曾創(chuàng)造了一種新工具 3D MoMa，將照片變成 3D 物體易如反掌。

NeuralAngelo 建立在這一概念的基礎(chǔ)上，允許導(dǎo)入更大、更詳細(xì)的空間和對象。而它特別之處在于，可以準(zhǔn)確捕捉重復(fù)的紋理模式、同質(zhì)的顏色和強(qiáng)烈的顏色變化。

通過采用「即時(shí)神經(jīng)圖形基元」，也就是 NVIDIA Instant NeRF 技術(shù)的核心，Neuralangelo 由此可以捕捉更細(xì)微的細(xì)節(jié)。

團(tuán)隊(duì)的方法依賴于 2 個(gè)關(guān)鍵要素：

（1）用于計(jì)算高階導(dǎo)數(shù)作為平滑操作的數(shù)值梯度；

（2）在控制不同細(xì)節(jié)級別的哈希網(wǎng)格上進(jìn)行由粗到細(xì)的優(yōu)化。

即使沒有輔助深度，Neuralangelo 也能有效地從多視圖圖像中恢復(fù)密集 3D 表面結(jié)構(gòu)，其保真度顯著超過了以往的方法，使得能夠從 RGB 視頻捕捉中重建詳細(xì)的大規(guī)模場景。

構(gòu)建 NeuralAngelo

NeuralAngelo 模型是在多分辨率哈希編碼，以及基于 SDF 的體積渲染上進(jìn)行構(gòu)建。

第一步：使用數(shù)值梯度來計(jì)算高階導(dǎo)數(shù)

通過使用與哈希網(wǎng)格空間分辨率匹配的步長的數(shù)值梯度，可以優(yōu)化超越局部單元。與解析梯度相比，數(shù)值梯度對 SDF 起到了平滑操作的作用。

第二步：逐步細(xì)化細(xì)節(jié)層次

通過逐步減小數(shù)值梯度的步長，并啟用更高分辨率的哈希網(wǎng)格，優(yōu)化的效果可以更好地恢復(fù)大面積的光滑表面和精細(xì)的幾何細(xì)節(jié)。這種學(xué)習(xí)過程能夠逐步提高細(xì)節(jié)的層次感。

第三步：優(yōu)化

NeuralAngelo 使用三個(gè)優(yōu)化目標(biāo)：

RGB 合成損失

輸入圖像和合成圖像之間的 RGB 重建損失。

Eikonal 損失

對底層 SDF 進(jìn)行正則化處理，使其表面法線為單位正則。

曲率損失

對底層 SDF 進(jìn)行正則化處理，使平均曲率不會(huì)任意變大。

「神經(jīng)朗基羅」構(gòu)建好了，那么它又是如何運(yùn)作的呢？

可以說，Neuralangelo 還原了米開朗基羅刻畫大衛(wèi)的整個(gè)過程：

?首先，模型會(huì)從 2D 視頻中選擇幾幀從不同角度拍攝的物體 / 場景的畫面，并由此「看到」其深度、大小和形狀。這個(gè)過程就像雕塑藝術(shù)家一開始會(huì)從多個(gè)角度構(gòu)圖那樣。

?然后，模型會(huì)創(chuàng)建一個(gè)粗糙的 3D 場景表征，就像藝術(shù)家開始鑿刻主體的形狀。

?最后，模型會(huì)優(yōu)化渲染以提高細(xì)節(jié)的清晰度，就像藝術(shù)家通過精心地修飾來模仿織物或人形的紋理。

在 DPU 基準(zhǔn)定性比較中，Neuralangelo 產(chǎn)生更準(zhǔn)確和更高保真度的表面。

如下是 Neuralangelo 在 DTU 數(shù)據(jù)集中的定量結(jié)果，模型獲得了很好的重建精度和圖像合成質(zhì)量。

在不同的從粗糙到精細(xì)優(yōu)化方案定性比較中，當(dāng)使用分析梯度 AG 和 AG+P，物體粗糙表面還有偽影。

當(dāng)使用數(shù)字梯度（NG）時(shí)，能夠重建一個(gè)比較好的粗糙表面，細(xì)節(jié)也被平滑。

而英偉達(dá)的解決方案（NG+P）能夠生成光滑的表面，以及精細(xì)的細(xì)節(jié)。

最終的結(jié)果是一個(gè)可以在虛擬現(xiàn)實(shí)應(yīng)用、數(shù)字孿生或機(jī)器人開發(fā)中使用的 3D 物體或大規(guī)模場景。

英偉達(dá)表示，Neuralangelo 將復(fù)雜材料的紋理，包括屋頂瓦片的粗糙度、大理石的光滑度，從 2D 視頻轉(zhuǎn)化為 3D 物體的能力，顯著超越了以往的方法。

英偉達(dá)研究部高級主任、論文作者 Ming-Yu Liu 對這項(xiàng)研究的意義給出了暢想：

「Neuralangelo 提供的 3D 重建能力將給創(chuàng)作者帶來巨大好處，幫助他們在數(shù)字世界中重建真實(shí)世界。這個(gè)工具最終將使開發(fā)人員能夠?qū)⒕?xì)的物體 —— 不論是小型雕像，還是大型建筑 —— 導(dǎo)入視頻游戲或工業(yè)數(shù)字孿生的虛擬環(huán)境中。

創(chuàng)意的專業(yè)人士可以將這些 3D 對象導(dǎo)入到設(shè)計(jì)應(yīng)用中，進(jìn)一步編輯，以供藝術(shù)、電子游戲開發(fā)、機(jī)器人技術(shù)和工業(yè)數(shù)字孿生等領(lǐng)域使用。

作者介紹

Zhaoshuo Li（李趙碩）

李趙碩目前還是約翰霍普金斯大學(xué)的計(jì)算機(jī)科學(xué)博士生，導(dǎo)師是 Mathias Unberath 教授、Russell H Taylor 教授。

他對計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)、深度學(xué)習(xí)有濃厚的興趣，研究重點(diǎn)是從圖像中重現(xiàn)運(yùn)動(dòng)和結(jié)構(gòu)。

另外，他還有非常多的愛好，是攝像師、心理健康促進(jìn)者、寵物狗的愛好者、還是沖浪者、跳傘者、滑雪板運(yùn)動(dòng)員…

Chen-Hsuan Lin

Chen-Hsuan Lin 是 NVIDIA Research 的一名研究科學(xué)家，從事計(jì)算機(jī)視覺、計(jì)算機(jī)圖形學(xué)和人工智能方面的工作。

他在卡內(nèi)基梅隆大學(xué)獲得了機(jī)器人學(xué)博士學(xué)位，并獲得英偉達(dá)研究生獎(jiǎng)學(xué)金。此前，他還在 Facebook AI Research 和 Adobe Research 實(shí)習(xí)。

Lin 對解決 3D 重建、視圖合成和 3D 內(nèi)容生產(chǎn)的問題非常感興趣。其研究旨在通過從互聯(lián)網(wǎng)規(guī)模的視覺數(shù)據(jù)中學(xué)習(xí)，賦予人工智能系統(tǒng)人類水平的 3D 感知和想象能力，向真正的 3D 空間智能邁進(jìn)。

網(wǎng)友熱評

英偉達(dá)科學(xué)家 Jim Fan 表示，

為了讓你了解 3D 建模的人工智能發(fā)展速度：該領(lǐng)域在 3 年內(nèi)從左邊（原始的 NeRF 重建的網(wǎng)格）到右邊（英偉達(dá)的 Neuralangelo）。

將現(xiàn)實(shí)傳送到高保真模擬中不再是一個(gè)夢想。

新的 Neuralangelo 模型簡直是一個(gè)野獸，英偉達(dá)決定淘汰我們，R.I.P.攝影測量軟件。

簡直就像數(shù)字世界的「米開朗基羅」。

還有網(wǎng)友表示想知道，用它的成本是多少？

我們可以在工廠使用無人機(jī)，然后將視頻發(fā)送到這個(gè)模型，做一個(gè)數(shù)字孿生，并使用它來優(yōu)化我們的流程。

對于這項(xiàng)技術(shù)的意義，網(wǎng)友認(rèn)為這對游戲行業(yè)來說影響將是巨大的。

參考資料：

• https://blogs.nvidia.com/blog/2023/06/01/neuralangelo-ai-research-3d-reconstruction/

本文來自微信公眾號：新智元 （ID：AI_era）

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。