IT之家 11 月 21 日消息，微軟 Azure AI 基礎(chǔ)設(shè)施迎來(lái)升級(jí)，推出了 ND H100 v5 虛擬機(jī)系列，這款虛擬機(jī)配備了英偉達(dá) H100 Tensor Core 圖形處理單元（GPU）和低延遲網(wǎng)絡(luò)。
據(jù)介紹，微軟全新發(fā)布 Azure ND H100 v5 虛擬機(jī)（VM）系列，現(xiàn)已在美國(guó)東部和美國(guó)中南部 Azure 區(qū)域提供。
該系列配備了最新的英偉達(dá) H100 Tensor Core GPU 和英偉達(dá) Quantum-2 InfiniBand 網(wǎng)絡(luò)，用于應(yīng)對(duì) AI 工作負(fù)載帶來(lái)的日益增加的復(fù)雜性。作為微軟在 AI 領(lǐng)域深入和持續(xù)投資的一部分，微軟正在利用一個(gè) AI 優(yōu)化的 4K GPU 集群，并將在明年將其擴(kuò)展到數(shù)十萬(wàn)個(gè)全新的 GPU。
IT之家匯總 ND H100 v5 VM 虛擬機(jī)系列的特性：
AI 超級(jí)計(jì)算 GPU：配備了八個(gè)英偉達(dá) H100 Tensor Core GPU。比起上一代虛擬機(jī)，該系列可讓 AI 模型顯著提速。
新一代計(jì)算機(jī)處理單元（CPU）：CPU 性能對(duì)于 AI 的訓(xùn)練和推理至關(guān)重要，微軟選擇了第四代英特爾 Xeon Scalable 處理器。
低延遲網(wǎng)絡(luò)：采用英偉達(dá) Quantum-2 ConnectX-7 InfiniBand，每個(gè) GPU 擁有 400Gb / s、每個(gè) VM 擁有 3.2 Tb / s 的跨節(jié)點(diǎn)帶寬。
優(yōu)化主機(jī)到 GPU 的性能：通過(guò) PCIe Gen5 提供每個(gè) GPU 64GB/s 的帶寬。
大規(guī)模的內(nèi)存和內(nèi)存帶寬：DDR5 內(nèi)存是該系列虛擬機(jī)的核心，提供更高的數(shù)據(jù)傳輸速度和效率。
微軟表示，該系列虛擬機(jī)使用新的 8 位 FP8 浮點(diǎn)數(shù)據(jù)類型進(jìn)行矩陣乘法操作時(shí)，速度提升了六倍，比前一代的 FP16 更快。ND H100 v5 VM 幫助大型語(yǔ)言模型（如 BLOOM 175B 端到端模型）實(shí)現(xiàn)了最高兩倍的推理速度提升。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。