設置
  • 日夜間
    隨系統
    淺色
    深色
  • 主題色

微軟上線 Azure H200 v5 系列 AI 虛擬機:吞吐量提升 35%、HBM 帶寬 4.8 TB/s 提高 43%

2024/10/8 14:01:16 來源:IT之家 作者:故淵 責編:故淵

IT之家 10 月 8 日消息,微軟公司于 10 月 2 日發(fā)布博文,宣布面向客戶和合作伙伴,正式開放 Azure H200 v5 系列虛擬機,幫助企業(yè)應對日益繁重的 AI 工作負載需求。

微軟在博文中表示:“H200 v5 系列虛擬機,通過規(guī)模、效率和增強性能等,推動客戶和 Microsoft AI 服務(如 Azure 機器學習和 Azure OpenAI 服務)普及和落地”。

OpenAI 的基礎設施負責人 Trevor Cai 表示,OpenAI 正在利用新的虛擬機系列推動研究和開發(fā),并為用戶微調 ChatGPT。

Cai 表示:“我們很高興能夠采用 Azure 的新 H200 虛擬機。我們發(fā)現 H200 在最小遷移工作下提供了更好的性能,我們期待使用這些虛擬機加速我們的研究,改善 ChatGPT 體驗,并推動我們的使命”。

Azure H200 v5 系列虛擬機采用微軟方案實現“增強效率和性能”,包括 8 個英偉達 H200 Tensor Core GPU,解決了企業(yè)用戶在計算能力方面捉襟見肘的困境。

IT之家援引微軟官方新聞稿,Azure H200 v5 系列虛擬機在運行 LLAMA 3.1 405B 模型推理工作負載時,吞吐量提升達 35%。

Azure ND H200 v5 系列虛擬機最高提供 141GB HBM,相比較上一代 H100 v5 提高了 76%,此外帶寬為 4.8 TB/s,提高了 43%。

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:Azure,微軟

軟媒旗下網站: IT之家 最會買 - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知