設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

碾壓 H100!英偉達 GH200 超級芯片首秀 MLPerf v3.1,性能躍升 17%

新智元 2023/9/12 16:10:59 責編:汪淼
感謝IT之家網(wǎng)友 華南吳彥祖 的線索投遞!

【新智元導讀】傳說中的英偉達 GH200 在 MLPerf 3.1 中驚艷亮相,性能直接碾壓 H100,領(lǐng)先了 17%。

繼 4 月份加入 LLM 訓練測試后,MLPerf 再次迎來重磅更新!

剛剛,MLCommons 發(fā)布了 MLPerf v3.1 版本更新,并加入了兩個全新基準:LLM 推理測試 MLPerf Inference v3.1,以及存儲性能測試 MLPerf Storage v0.5。

而這,這也是英偉達 GH200 測試成績的首次亮相!

相比于單張 H100 配合英特爾 CPU,GH200 的 Grace CPU+H100 GPU 的組合,在各個項目上都有 15% 左右的提升。

英偉達 GH200 超級芯片首秀

毫無疑問,英偉達的 GPU 在 MLPerf Inference 3.1 基準測試中表現(xiàn)是最亮眼的。

其中,最新發(fā)布的 GH200 Grace Hopper 超級芯片,也是首次在 MLPerf Inference 3.1 上亮相。

Grace Hopper 超級芯片將英偉達的 Grace CPU 與 H100 GPU 集成在一起,通過超高的帶寬連接,從而比單個 H100 配合其他的 CPU 能提供更強的性能表現(xiàn)。

「Grace Hopper 首次展示了非常強勁的性能,與我們的 H100 GPU 提交相比,性能提高了 17%,我們已經(jīng)全面領(lǐng)先,」英偉達人工智能總監(jiān) Dave Salvator 在新聞發(fā)布會上表示。

性能大幅增長

具體來說,它將一個 H100 GPU 和 Grace CPU 集成在一起,通過 900GB/s的 NVLink-C2C 連接。

而 CPU 和 GPU 分別配備了 480GB 的 LPDDR5X 內(nèi)存和 96GB 的 HBM3 或者 144GB 的 HBM3e 的內(nèi)存,集成了高達 576GB 以上的高速訪問內(nèi)存。

英偉達 GH200 Grace Hopper 超級芯片專為計算密集型工作負載而設(shè)計,能夠滿足各種嚴苛的要求和各項功能。

比如訓練和運行數(shù)萬億參數(shù)的大型 Transformer 模型,或者是運行具有數(shù) TB 大小的嵌入表的推薦系統(tǒng)和向量數(shù)據(jù)庫。

GH200 Grace Hopper 超級芯片還在 MLPerf Inference 測試中有著非常優(yōu)異的表現(xiàn),刷新了英偉達單個 H100 SXM 在每個項目中創(chuàng)下的最佳成績。

▲ NVIDIA Grace Hopper MLPerf Inference 數(shù)據(jù)中心性能與 DGX H100 SXM 的對比結(jié)果,每個數(shù)值都是 GH200 的性能領(lǐng)先幅度

GH200 Grace Hopper 超級芯片集成了 96 GB 的 HBM3,并提供高達 4 TB / s 的 HBM3 內(nèi)存帶寬,而 H100 SXM 分別為 80 GB 和 3.35 TB / s。

與 H100 SXM 相比,更大的內(nèi)存容量和更大的內(nèi)存帶寬使得在 NVIDIA GH200 Grace Hopper 超級芯片上使用更大的批處理大小來處理工作負載。

例如,在服務(wù)器場景中,RetinaNet 和 DLRMv2 的批處理大小都增加了一倍,在離線場景中,批處理大小增加了 50%。

GH200 Grace Hopper 超級芯片在 Hopper GPU 和 Grace CPU 之間的高帶寬 NVLink-C2C 連接可以實現(xiàn) CPU 和 GPU 之間的快速通信,從而有助于提高性能。

例如,在 MLPerf DLRMv2 中,在 H100 SXM 上通過 PCIe 傳輸一批張量(Tensor)大約需要 22% 的批處理推理時間。

使用了 NVLink-C2C 的 GH200 Grace Hopper 超級芯片僅使用 3% 的推理時間就完成了相同的傳輸。

由于具有更高的內(nèi)存帶寬和更大的內(nèi)存容量,與 MLPerf Inference v3.1 的 H100 GPU 相比,Grace Hopper 超級芯片的單芯片性能優(yōu)勢高達 17%。

推理和訓練全面領(lǐng)先

在 MLPerf 的首秀中,GH200 Grace Hopper Superchip 在封閉類別(Closed Division)的所有工作負載和場景上都表現(xiàn)出卓越的性能。

而在主流的服務(wù)器應(yīng)用中,L4 GPU 能夠提供一個低功耗,緊湊型的算力解決方案,與 CPU 解決方案相比的性能也有了大幅的提升。

Salvator 表示,「與測試中最好的 x86 CPU 相比,L4 的性能也非常強勁,提高了 6 倍」。

對于其他的 AI 應(yīng)用和機器人應(yīng)用,Jetson AGX Orin 和 Jetson Orin NX 模塊實現(xiàn)了出色的性能。未來的軟件優(yōu)化有助于進一步釋放強大的英偉達 Orin SoC 在這些模塊中的潛力。

在目前非常流行的目標檢測 AI 網(wǎng)絡(luò) ——RetinaNet 上,英偉達的產(chǎn)品的性能提高了高達 84%。

英偉達開放部分(Open Division)的結(jié)果,展示了通過模型優(yōu)化可以在保持極高精度的同時大幅提高推理性能的潛力。

全新 MLPerf 3.1 基準測試

當然,這并不是 MLCommons 第一次嘗試對大語言模型的性能進行基準測試。早在今年 6 月,MLPerf v3.0 就首次加入了 LLM 訓練的基準測試。不過,LLM 的訓練和推理任務(wù),區(qū)別很大。

推理工作負載對計算要求高,而且種類繁多,這就要求平臺能夠快速處理各種類型的數(shù)據(jù)預測,并能在各種 AI 模型上進行推理。

對于希望部署 AI 系統(tǒng)的企業(yè)來說,需要一種方法來客觀評估基礎(chǔ)設(shè)施在各種工作負載、環(huán)境和部署場景中的性能。所以對于訓練和推理的基準測試都是很重要的。

MLPerf Inference v3.1 包括了兩項重要更新,來更好地反映現(xiàn)在 AI 實際的使用情況

首先,增加了基于 GPT-J 的大型語言模型 (LLM) 推理的測試。GPT-J 是一個開源的 6B 參數(shù) LLM,對 CNN / 每日郵報數(shù)據(jù)集進行文本總結(jié)。

除了 GPT-J 之外,這次還更新了 DLRM 測試。針對 MLPerf Training v3.0 中引入的 DLRM,采用了新的模型架構(gòu)和更大的數(shù)據(jù)集,更好地反映了推薦系統(tǒng)的規(guī)模和復雜性。

MLCommons 創(chuàng)始人兼執(zhí)行董事 David Kanter 表示,訓練基準側(cè)重于更大規(guī)模的基礎(chǔ)模型,而推理基準執(zhí)行的實際任務(wù),則代表了更廣泛的用例,大部分組織都可以進行部署。

在這方面,為了能夠?qū)Ω鞣N推理平臺和用例進行有代表性的測試,MLPerf 定義了四種不同的場景。

每個基準都由數(shù)據(jù)集和質(zhì)量目標定義。

每個基準都需要以下場景:

在 MLPerf v3.1 基準測試中,有超過 13,500 個結(jié)果,其中不少提交者的性能比 3.0 基準提高了 20%,甚至更多。

其他提交者包括華碩,Azure,cTuning,Connect Tech,戴爾,富士通,Giga Computing,谷歌,H3C,HPE,IEI,英特爾,Intel Habana Labs,Krai,聯(lián)想,墨芯,Neural Magic,Nutanix,甲骨文,高通,Quanta Cloud Technology,SiMA,Supermicro,TTA 和 xFusion 等。

詳細數(shù)據(jù):https://mlcommons.org/en/inference-datacenter-31/

參考資料:

  • https://developer.nvidia.com/blog/leading-mlperf-inference-v3-1-results-gh200-grace-hopper-superchip-debut/?ncid=so-twit-408646&=&linkId=100000217826658

  • https://mlcommons.org/en/inference-datacenter-31/

  • https://venturebeat.com/ai/mlperf-3-1-adds-large-language-model-benchmarks-for-inference/

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:英偉達 GH200,英偉達 芯片,MLPerf

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知