IT之家 4 月 9 日消息,在今晚的 Vision 2024 活動(dòng)中,英特爾發(fā)布了新一代 Gaudi 3 AI 芯片,并將于 2024 年第三季度通過 OEM 系統(tǒng)大批量上市。
據(jù)介紹,新款 Gaudi 3 與英偉達(dá) H100 相比訓(xùn)練性能提高了 170%,推理能力提高了 50%,效率提高了 40%,但成本卻低得多(IT之家注:H100 已經(jīng)是英偉達(dá)上一代產(chǎn)品,英特爾并未與最新的 Blackwell 系列產(chǎn)品進(jìn)行對(duì)比)。
此外,英特爾還為其數(shù)據(jù)中心 CPU 產(chǎn)品組合推出了全新品牌命名:原代號(hào)為 Granite Rapids 和 Sierra Forest 的芯片現(xiàn)在將被稱為 “Xeon 6” 系列。這些芯片計(jì)劃于今年上市,并將支持全新性能提升的標(biāo)準(zhǔn)化 MXFP4 數(shù)據(jù)格式。
英特爾同時(shí)宣布正在開發(fā)用于以太網(wǎng)網(wǎng)絡(luò)的 AI NIC ASIC 以及 AI NIC 小芯片。這些小芯片將用于其未來 XPU 和 Guadi 3 處理器,并將通過英特爾代工廠提供給外部客戶,不過英特爾并未透露更多關(guān)于這些網(wǎng)絡(luò)產(chǎn)品的細(xì)節(jié)。
英特爾全新 Gaudi 3 AI 加速器采用 5nm 工藝打造,F(xiàn)P8 性能是上一代產(chǎn)品的兩倍,BF16 性能是上一代產(chǎn)品的四倍,網(wǎng)絡(luò)帶寬是上一代產(chǎn)品的 2 倍,內(nèi)存帶寬是上一代產(chǎn)品的 1.5 倍,并提供 Mezz 卡、板載和 PCIe 三種形態(tài)。
Gaudi 3 提供 64 個(gè)第五代張量處理核心和 8 個(gè)矩陣計(jì)算引擎,并搭載 128GB 速率達(dá) 3.7TB / s 的 HBM 內(nèi)存和 96MB 速率達(dá) 12.8TB / s 的 SRAM。連接方面支持 24 條的 200GbE 符合 RoCE 標(biāo)準(zhǔn)的以太網(wǎng)總線以及最高 16 條 PCIe 5.0 總線。
板載版本 Gaudi 3 型號(hào)為 HLB-325,由八顆 Gaudi 3 Mezz 卡組成,提供 14.6PFLOPS FP8 性能,1TB 帶寬速率達(dá) 29.6TB / s 的 HBM2e 內(nèi)存,64 個(gè)線性計(jì)算引擎,192 條 200GbE 網(wǎng)絡(luò)總線,9.6TB / s 吞吐能力。
PCIe 版本型號(hào)為 HL-338,提供單卡 1835TFLOPS FP8 峰值性能,128GB HBM2e 內(nèi)存,8 個(gè)線性計(jì)算引擎,24 條 200GbE 網(wǎng)絡(luò)總線,600W TDP,整張卡占據(jù)兩卡槽高度。
Gaudi 3 單個(gè)節(jié)點(diǎn)(8 個(gè) Gaudi 3 AI 加速器)可以提供 14.7PF FP8 計(jì)算性能,128GB 內(nèi)存及 8.4TB / s 網(wǎng)絡(luò)讀寫速度;64 節(jié)點(diǎn)集群(512 個(gè) Gaudi 3 AI 加速器)提供 940 PF FP8 計(jì)算性能,65.5TB 內(nèi)存及 76.8TB / s 的網(wǎng)絡(luò)讀寫能力;512 節(jié)點(diǎn)集群(4096 個(gè) Gaudi 3 AI 加速器)提供 7.52EF FP8 計(jì)算性能,525.3TB 內(nèi)存及 614TB / s 網(wǎng)絡(luò)讀寫速度;1024 節(jié)點(diǎn)集群(8192 個(gè) Gaudi 3 加速器)則提供 15EF FP8 計(jì)算性能,1PB 內(nèi)存及 1.229PB/s網(wǎng)絡(luò)讀寫能力。
具體來看,英特爾 Gaudi 3 與主要的競(jìng)品英偉達(dá) H100 在相同節(jié)點(diǎn)數(shù)量下,相關(guān)大模型訓(xùn)練時(shí)間對(duì)比上至高有 1.7 倍優(yōu)勢(shì),其中,LLAMA2 70 億參數(shù)對(duì)比有 1.5 倍于 H100 的優(yōu)勢(shì),LLAMA2 130 億參數(shù)最高有 1.7 倍的優(yōu)勢(shì),GPT 3 1750 億參數(shù)有 1.4 倍優(yōu)勢(shì)。推理速度和能效表現(xiàn)上,Gaudi 3 相比于 H100 也有較大幅度提升。
軟件生態(tài)方面,英特爾 Gaudi 3 針對(duì)生成式 AI 提供端到端全棧 AI 軟件解決方案,包括嵌入式軟件、軟件套件、AI 軟件、AI 應(yīng)用。
通過 Gaudi 3 可以支持基于還支持多模態(tài)、大語言模型、增強(qiáng)檢索生成核心能力的 3D 生成、文本生成、視頻圖片生成、內(nèi)容總結(jié)、翻譯、問答、分級(jí)等常見 AI 功能。依靠豐富的 AI 軟件生態(tài),Gaudi 3 也支持常見的 AI 框架庫(kù)、使用場(chǎng)景和工具,并對(duì)有代表性的模型進(jìn)行支持。英特爾還提供 Gaudi 軟件套件,提供對(duì)底層硬件的支持。
英特爾在 Vision 2024 上也公布了 Gaudi 3 生產(chǎn)節(jié)點(diǎn),2024 年一季度將率先推出風(fēng)冷版樣品,二季度推出液冷版樣品,并在今年第三、第四季度分別批量交付風(fēng)冷版和液冷版。Gaudi 3 將由戴爾、惠與、聯(lián)想和超微四家 OEM 提供。
在此基礎(chǔ)上,英特爾也宣布 Gaudi 3 今年下半年可在英特爾 Developer Cloud 獲得。除了英特爾 Gaudi 3 加速器之外,英特爾還提供了關(guān)于其在企業(yè) AI 各個(gè)領(lǐng)域的下一代產(chǎn)品和服務(wù)的更新。
全新英特爾 Xeon 6 處理器作為英特爾全新品牌首次亮相,它主要針對(duì)生成式 AI 計(jì)算,Xeon 6 處理器包含高效核心 E-core 和性能核心 P-core。Xeon 6 E-core 代號(hào) Sierra Forest,相比第二代英特爾 Xeon 處理器,性能每瓦提高 2.4 倍,并且機(jī)架密度提高 2.7 倍。對(duì)于英特爾的客戶而言,可以以接近 3 比 1 的比例替換老舊系統(tǒng),大幅降低能耗,推動(dòng)實(shí)現(xiàn)可持續(xù)發(fā)展目標(biāo)。Xeon 6 P-core,代號(hào) Granite Rapids,支持 MXFP4。
PC、邊緣端和連接方面,英特爾酷睿 Ultra 處理器 AI PC 產(chǎn)品作為生產(chǎn)力、安全性和內(nèi)容創(chuàng)作的工具,預(yù)計(jì)今年將發(fā)貨 4000 萬臺(tái) AI PC。除此之外,英特爾宣布了一系列新的邊緣芯片,涵蓋了英特爾酷睿 Ultra、英特爾酷睿、英特爾凌動(dòng)處理器和英特爾 Arc GPU,目標(biāo)市場(chǎng)包括零售、工業(yè)制造和醫(yī)療保健。這些新品將在本季度推出。
另外,英特爾計(jì)劃與 Ultra Ethernet Consortium 合作推出 AI 以太網(wǎng)解決方案,解決龐大數(shù)據(jù)量下 AI 大模型網(wǎng)絡(luò)問題。這一產(chǎn)品計(jì)劃將在 2026 年推出。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。