設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

3.9 分鐘訓完 GPT-3,英偉達 H100 再次刷新 MLPerf 六項紀錄

2023/11/9 13:51:42 來源:IT之家 作者:故淵 責編:故淵

IT之家 11 月 9 日消息,英偉達今天發(fā)布新聞稿,表示旗下的 H100 GPU 在 MLPerf 基準測試中創(chuàng)造了 6 項新記錄。

IT之家今年 6 月報道,3584 個 H100 GPU 群在短短 11 分鐘內(nèi)完成了基于 GPT-3 的大規(guī)模基準測試。

MLPerf LLM 基準測試是基于 OpenAI 的 GPT-3 模型進行的,包含 1750 億個參數(shù)。

Lambda Labs 估計,訓練這樣一個大模型需要大約 3.14E23 FLOPS 的計算量。

英偉達最新的 Eos AI 超級計算機配備了 10752 個 H100 Tensor Core GPU 和 NVIDIA 的 Quantum-2 InfiniBand 網(wǎng)絡(luò),訓練完 GPT-3 僅僅只需要 3.9 分鐘,比 6 月的測試結(jié)果整整快了 7 分鐘。

英偉達在帖中的另一項創(chuàng)紀錄的成就是在“系統(tǒng)擴展”方面取得的進步,通過各種軟件優(yōu)化,效率提高到了 93%。

高效擴展在行業(yè)中非常重要,因為實現(xiàn)高計算能力需要使用更多的硬件資源,如果沒有足夠的軟件支持,系統(tǒng)的效率會受到大幅影響。

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:英偉達H100

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應(yīng)用 魔方 最會買 要知