IT之家 4 月 14 日消息，小鵬汽車今日在香港舉辦 AI 技術(shù)分享會，首次披露正在研發(fā) 720 億參數(shù)的超大規(guī)模自動駕駛大模型 ——“小鵬世界基座模型”。官方表示，小鵬未來將通過云端蒸餾小模型的方式將基模部署到車端，同時也將賦能小鵬的 AI 機(jī)器人、飛行汽車等。
小鵬汽車自動駕駛負(fù)責(zé)人李力耘介紹，小鵬基模是一個以大語言模型為骨干網(wǎng)絡(luò)，使用海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練的多模態(tài)大模型，具備視覺理解能力、鏈?zhǔn)酵评砟芰蛣幼魃赡芰?。通過強化學(xué)習(xí)訓(xùn)練，基座模型不斷自我進(jìn)化，將逐步發(fā)展出媲美甚至超越人類的自動駕駛技術(shù)。
李力耘還透露，為了研發(fā)基模，小鵬汽車早在去年就開始布局 AI 基礎(chǔ)設(shè)施，現(xiàn)已建成國內(nèi)汽車行業(yè)首個萬卡智算集群，用以支持基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等任務(wù)，小鵬汽車將這套從云到端的生產(chǎn)流程稱之為“云端模型工廠”。
IT之家從小鵬汽車獲悉，目前小鵬“云端模型工廠”擁有 10 EFLOPS 的算力，集群運行效率常年保持在 90% 以上，從云到端的全鏈路迭代周期可達(dá)平均 5 天一次。另外，小鵬研發(fā)團(tuán)隊利用自動駕駛訓(xùn)練數(shù)據(jù)，先后開發(fā)了多個尺寸的基座模型，目前已經(jīng)著手推進(jìn) 72B（72 Billion，也即 720 億）超大規(guī)模參數(shù)世界基座模型的研發(fā)，參數(shù)量是主流 VLA 模型的 35 倍左右。
后續(xù)，小鵬世界基座模型將全面賦能小鵬 AI 體系全圖譜，應(yīng)用到小鵬汽車的 AI 汽車、AI 機(jī)器人、飛行汽車上。為了開發(fā)小鵬世界基座模型，小鵬汽車還打造了一座“云端模型工廠”，工廠“車間”涵蓋基座模型預(yù)訓(xùn)練和后訓(xùn)練（強化學(xué)習(xí)訓(xùn)練）、模型蒸餾、車端模型預(yù)訓(xùn)練到部署上車的完整生產(chǎn)鏈路。
小鵬汽車官方表示，其從 2024 年開始搭建 AI 基礎(chǔ)設(shè)施（AI Infra），當(dāng)前已建立起萬卡規(guī)模的智能算力集群，是目前國內(nèi)汽車行業(yè)最大的自動駕駛算力集群。小鵬汽車的算力儲備達(dá)到 10EFLOPS，集群利用率常年高達(dá) 90% 以上，高峰時期的運行效率甚至達(dá)到 98%。目前，小鵬汽車用于訓(xùn)練基座模型的視頻數(shù)據(jù)量高達(dá) 2000 萬 clips，這一數(shù)字今年將增加到 2 億 clips。
IT之家附小鵬汽車 2024 年三大階段性成果：
階段性成果 1：驗證規(guī)模法則在自動駕駛領(lǐng)域持續(xù)生效
階段性成果 2：在后裝算力的車端成功實現(xiàn)基?？剀?/p>
階段性成果 3：啟動 72B 參數(shù)基模訓(xùn)練，搭建針對強化學(xué)習(xí)的模型訓(xùn)練框架
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。