設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

英偉達 Blackwell 在數(shù)據(jù)中心投入運行:NVLINK 升級至 1.4 TB/s,首張 FP4 GenAI 圖像公布

2024/8/24 9:43:18 來源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 8 月 24 日消息,英偉達邀請部分媒體舉辦吹風(fēng)會,向科技記者首次展示了 Blackwell 平臺。英偉達將出席 8 月 25-27 日舉辦的 Hot Chips 2024 活動,展示 Blackwell 平臺在數(shù)據(jù)中心投入使用的相關(guān)情況。

否認(rèn) Blackwell 推遲上市消息

英偉達在本次吹風(fēng)會上,駁斥了 Blackwell 推遲上市的消息,并分享了更多數(shù)據(jù)中心 Goliath 的相關(guān)信息。

英偉達在吹風(fēng)會上演示了 Blackwell 在其一個數(shù)據(jù)中心的運行情況,并強調(diào) Blackwell 正在按計劃推進,并將于今年晚些時候向客戶發(fā)貨。

有消息稱 Blackwell 存在某種缺陷或問題,今年無法投放市場,這種說法是站不住腳的。

Blackwell 簡介

英偉達表示 Blackwell 不僅僅是一款芯片,它還是一個平臺。就像 Hopper 一樣,Blackwell 包含面向數(shù)據(jù)中心、云計算和人工智能客戶的大量設(shè)計,每個 Blackwell 產(chǎn)品都由不同的芯片組成。

IT之家附上包括的芯片如下:

  • Blackwell GPU

  • Grace CPU

  • NVLINK Switch Chip

  • Bluefield-3

  • ConnectX-7

  • ConnectX-8

  • Spectrum-4

  • Quantum-3

Blackwell 橋架

英偉達還分享了 Blackwell 系列產(chǎn)品中各種橋架的全新圖片。這些是首次分享的 Blackwell 橋架圖片,展示了設(shè)計下一代數(shù)據(jù)中心平臺所需的大量專業(yè)工程技術(shù)。

目標(biāo)萬億參數(shù) AI 模型

Blackwell 旨在滿足現(xiàn)代人工智能的需求,并為大型語言模型(如 Meta 的 405B Llama-3.1)提供出色的性能。隨著 LLMs 的規(guī)模越來越大,參數(shù)也越來越多,數(shù)據(jù)中心將需要更多的計算和更低的延遲。

多 GPU 推理方法

多 GPU 推理方法是在多個 GPU 上進行計算,以獲得低延遲和高吞吐量,但采用多 GPU 路線也有其復(fù)雜性。多 GPU 環(huán)境中的每個 GPU 都必須將計算結(jié)果發(fā)送給每一層的其他 GPU,這就需要高帶寬的 GPU 對 GPU 通信。

多 GPU 推理方法是在多個 GPU 上進行計算,以獲得低延遲和高吞吐量,但采用多 GPU 路線也有其復(fù)雜性。多 GPU 環(huán)境中的每個 GPU 都必須將計算結(jié)果發(fā)送給每一層的其他 GPU,這就需要高帶寬的 GPU 對 GPU 通信。

更快的 NVLINK 交換機

通過 Blackwell,NVIDIA 推出了速度更快的 NVLINK 交換機,將結(jié)構(gòu)帶寬提高了一倍,達到 1.8 TB/s。NVLINK 交換機本身是基于臺積電 4NP 節(jié)點的 800mm2 芯片,可將 NVLINK 擴展到 GB200 NVL72 機架中的 72 個 GPU。

該芯片通過 72 個端口提供 7.2 TB/s 的全對全雙向帶寬,網(wǎng)內(nèi)計算能力為 3.6 TFLOPs。NVLINK 交換機托盤配有兩個這樣的交換機,提供高達 14.4 TB/s 的總帶寬。

水冷散熱

英偉達采用水冷散熱,來提升性能和效率。GB200、Grace Blackwell GB200 和 B200 系統(tǒng)將采用這些新的液冷解決方案,可將數(shù)據(jù)中心設(shè)施的電力成本最多降低 28%。

首張使用 FP4 計算生成的人工智能圖像

英偉達?(NVIDIA?)還分享了全球首張使用  FP4 計算生成的人工智能圖像。圖中顯示,F(xiàn)P4 量化模型生成的 4 位兔子圖像與 FP16 模型非常相似,但速度更快。

該圖像由 MLPerf  在穩(wěn)定擴散中使用 Blackwell 制作而成?,F(xiàn)在,降低精度(從 FP16 到 FP4)所面臨的挑戰(zhàn)是會損失一些精度。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:英偉達

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知