用視頻生成的仿真場景，能有多逼真？
兩旁的行人，前車的剎車燈…… 連這些細節(jié)，都能動態(tài)顯示得清清楚楚。
兩輛自行車行駛在道路中間，避讓通過：
這就是如今自動駕駛“當(dāng)紅炸子雞”Wayve，在 CVPR 2024 上分享的最新成果：
自動駕駛仿真模型 PRISM-1，沒有激光雷達，沒有 3D 標(biāo)注信息，只基于攝像頭輸入的信息。
PRISM-1：利用視頻數(shù)據(jù)重建 4D 真實場景
模擬仿真測試是自動駕駛的重要環(huán)節(jié)。
實車測試周期長，成本高，覆蓋的工況和長尾問題有限，尤其是極端場景下的 Corner Case，實車測試比較危險，且調(diào)試程序后，可能不好復(fù)現(xiàn)驗證。路還是那條路，但路況和道路參與者一直都在變。
因此，通過合成數(shù)據(jù)，仿真測試自動駕駛系統(tǒng)的路線，正在受到關(guān)注。
成本低，配置靈活，場景覆蓋率高，對特殊的 Corner Case 能夠復(fù)現(xiàn)后再驗證，可以與實車測試形成互補。
不過自動駕駛模擬仿真也面臨著諸多挑戰(zhàn)，比如在場景重建環(huán)節(jié)，復(fù)雜的城區(qū)道路，有很多動態(tài)元素難以準(zhǔn)確呈現(xiàn)，像行人和自行車，不僅形態(tài)各樣，而且行為靈活難預(yù)測。
傳統(tǒng)還原通過場景圖的方式，將元素組織成層次結(jié)構(gòu)，用節(jié)點表示場景中的實體，用彼此的邊緣表示它們之間的關(guān)系。
這種方式不夠靈活，因為當(dāng)車輛模擬測試時，周邊場景其實一直在動態(tài)改變，一些元素?zé)o法完美分離，會導(dǎo)致錯誤傳播。
為了突破傳統(tǒng)方式的局限，Wayve 轉(zhuǎn)向更靈活、能自適應(yīng)的模擬方案，在端到端的基礎(chǔ)上，提出了 PRISM-1 模型。
主要是三個特點：
框架更靈活：能有效處理常見元素，模擬移動元素，甚至包括瞬態(tài)場景元素，比如風(fēng)吹動的樹葉，隧道中的波動光線。
自監(jiān)督場景分離：無需標(biāo)注或預(yù)定義模型，分離場景中的動態(tài)元素和靜態(tài)元素。
可擴展表示：即使場景復(fù)雜度增加，PRISM-1 仍能保持高效。這最大限度地減少了工程量和錯誤傳播。
詳細過程，Wayve 沒有披露，只是主要介紹了視圖合成方面的創(chuàng)新點。
具體地說，PRISM-1 重點關(guān)注攝像頭觀測到的路徑的偏差。
無需依賴其他傳感器，只靠攝像頭，獲取車輛行駛時的一組稀疏圖像，重建 4D 場景。
當(dāng)然，用攝像頭獲取數(shù)據(jù)場景數(shù)據(jù)，有一個天然限制，那就是在動態(tài)場景下，只能從一個視角拍攝其中的元素。
如何在任意時刻，從不同視角重建 4D 場景？
PRISM-1 在承認車子動態(tài)特性的前提下，通過兩種方式改變攝像頭路徑：
第一種方式，凍結(jié)時間。
測試車輛周遭一切都暫停了，場景的時間維度不變，但空間可變，攝像頭左右平移，以不同角度查看周邊場景。
第二種方式，凍結(jié)空間。
測試車輛自身保持靜止，空間數(shù)據(jù)不變，但時間還在變化，周遭事物還能運動，觀察其變化。
兩種方式結(jié)合，Wayve 可以利用 PRISM-1 從各種視角重建場景，甚至復(fù)現(xiàn)一些細節(jié)，比如前車剎車燈亮了。
Wayve 還將在此基礎(chǔ)上，繼續(xù)迭代工作。
下一步，Wayve 打算加強模型的可擴展性和靈活性。
比如，用模型去重建一個“行人通過斑馬線”的場景。
如果需要，也可以把行人移除掉。
推出 PRISM-1，提高自動駕駛模擬的真實性，加快算法迭代的同時，Wayve 還開源了一個場景數(shù)據(jù)集 WayveScenes101 Dataset，顧名思義，包含了 101 個復(fù)雜動態(tài)場景。
涵蓋了英美兩地，不同的駕駛環(huán)境和路況，包括多種天氣和光照條件下的城區(qū)、郊區(qū)和高速公路。
當(dāng)然，能被微軟和英偉達同時相中押注，Wayve 的工作成果遠不止這些。
自動駕駛獨角獸，微軟英偉達都投了
遍觀全球，最近一段時間，特別是在自動駕駛領(lǐng)域，很少有獨角獸，能蓋住 Wayve 的風(fēng)頭了。5 月 7 日，Wayve 官宣了 10.5 億美元 (折合人民幣約為 75.8 億元) 的新一輪融資。
軟銀領(lǐng)投，微軟和英偉達跟投。數(shù)額之巨，投資者陣容之豪華，實屬罕見，轟動一時。
在此前，只有 Waymo、Argo 和 Cruise 等，獲得過這個級別的融資。
Wayve 一舉刷新英國 AI 公司單筆融資的記錄，連英國首相也在聲明中表示，這「鞏固了英國作為 AI 超級大國的地位」。彼時的 Wayve 都有什么技術(shù)成果，吸引巨頭押注？
主要是一個架構(gòu)，兩個模型：
一個架構(gòu)是指端到端的 AV 2.0，不依賴高精地圖，Wayve 稱可兼容純視覺和激光雷達多種方案。
兩個模型是指 LINGO 系列以及 GAIA-1，分別是 Wayve 在 AI 的可解釋性與 AIGC 上的成果。
首先來看 LINGO 系列，去年 9 月，Wayve 推出了 LINGO-1 模型。
Wayve 將其稱之為 VLAM (視覺-語言-動作模型)，與傳統(tǒng)技術(shù)范式不同的是，視頻數(shù)據(jù)之外，Wayve 還引入了老司機語音包進行訓(xùn)練：
Wayve 請來很多專業(yè)司機，要求他們在開測試車輛做出相應(yīng)操作時，大聲說話，解釋自己為什么這么做。
這樣，自然語言就被引入了自動駕駛，LINGO-1 實現(xiàn)了在開車時，解釋自己的決策邏輯，這提高了模型的可解釋性。
這項工作最近升級至 LINGO-2，進一步增強了人車交互，司機可以通過限定的命令，比如「靠邊停車」，調(diào)整智駕的開車策略。
另外一個模型則是 GAIA-1，是一個為自動駕駛打造的多模態(tài)生成式世界模型，參數(shù)規(guī)模 90 億。
輸入視頻、文本和操作，就能生成逼真的自動駕駛視頻，不同路況和天氣，效果都能以假亂真。
誒等等，GAIA-1 能生成自動駕駛測試的視頻，PRISM-1 能用視頻模擬真實場景，兩個一結(jié)合，這不就閉環(huán)了嗎？doge
當(dāng)然沒有這么簡單，在去年 6 月，Wayve 推出 GAIA-1 早期版本后，就有相關(guān)研究人員指出，模型生成的視頻中，會有一些元素在后續(xù)“突然消失”，還不完善。
雖然去年 10 月，Wayve 更新了 GAIA-1，擴大了參數(shù)規(guī)模，增加了訓(xùn)練時長，模型生成視頻的細節(jié)和分辨率都有明顯提升，但是否完全克服了“元素突然消失”的問題，還有待充分驗證。
引領(lǐng) Wayve 打造這些成果的，是兩位聯(lián)合創(chuàng)始人：
Alex Kendall (亞歷克斯?肯德爾) 與 Amar Shah (已退出)。
兩人都是劍橋大學(xué)機器學(xué)習(xí)專業(yè)的博士，于 2017 年創(chuàng)立了 Wayve。
其中肯達爾去年曾陪同比爾?蓋茨試乘旗下產(chǎn)品，比爾?蓋茨后來點贊其工作:
That was fantastic!
或許是這次試乘打動了比爾蓋茨，微軟連續(xù)兩次出手，投資 Wayve。
Wayve 也是不負所托，最近一年頻頻拿出成果，給行業(yè)帶來驚喜。
時值 CVPR 2024，Wayve 也舉辦了一系列活動，PRISM-1 研究人員就在現(xiàn)場。
本文來自微信公眾號：智能車參考（ID：AI4Auto），作者：有據(jù)無車
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。