IT之家 8 月 29 日消息，AMD 昨日（8 月 28 日）發(fā)布新聞稿，公布其 Instinct MI300X GPU 在采用最新開源 ROCm 情況下，在 MLPerf Inference v4.1 比賽中取得了優(yōu)異成績，并對(duì)比了英偉達(dá)的 H100 GPU。
MLPerf 簡介
IT之家注：MLPerf 基準(zhǔn)測試由來自學(xué)術(shù)界、研究實(shí)驗(yàn)室和行業(yè)的 AI 領(lǐng)導(dǎo)者聯(lián)盟 MLCommons 開發(fā)，旨在對(duì)硬件、軟件和服務(wù)的訓(xùn)練和推理性能進(jìn)行無偏評(píng)估。
它們都在規(guī)定的條件下進(jìn)行。為了保持在行業(yè)趨勢的前沿，MLPerf 不斷發(fā)展，定期舉行新的測試，并添加代表 AI 技術(shù)水平的新工作負(fù)載。
MLPerf Inference v4.1 使用 7 種不同的神經(jīng)網(wǎng)絡(luò)（包括 LLM、自然語言處理、計(jì)算機(jī)視覺和醫(yī)學(xué)影像分割）來測量推理性能。
測試結(jié)果
從 LLama2-70B 的性能結(jié)果來看，AMD 在 EPYC Genoa CPU 上運(yùn)行的服務(wù)器和離線場景分別達(dá)到了 21028 token / s 和 23514 token / s。
而采用相同 Instinct 配置的第 5 代 EPYC “Turin” CPU 在服務(wù)器和離線場景分別達(dá)到了 22021 token / s 和 24110 token / s。與 Genoa CPU 平臺(tái)相比，分別提高了 4.7% 和 2.5%。
與英偉達(dá) H100 相比，Instinct MI300X 在服務(wù)器性能方面稍慢，而在離線情況下差距則越來越大。Turin 配置在服務(wù)器場景中的速度最終快了 2%，但在離線場景中落后了。
最后，AMD 強(qiáng)調(diào)了其 Instinct MI300X AI 加速器提供的內(nèi)存優(yōu)勢，該優(yōu)勢遠(yuǎn)遠(yuǎn)超過英偉達(dá) H100 平臺(tái)。MI300X 提供的內(nèi)存足以滿足各種數(shù)據(jù)格式的最大語言模型的要求。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。