IT之家 1 月 31 日消息，英偉達今日宣布，DeepSeek-R1 模型現(xiàn)已在 build.nvidia.com 上作為 NVIDIA NIM 微服務預覽版提供。DeepSeek-R1 NIM 微服務可以在單個 NVIDIA HGX H200 系統(tǒng)上每秒提供多達 3,872 tokens。
據(jù)介紹，開發(fā)人員可以測試和試驗應用程序編程接口（API），該接口預計將很快作為可下載的 NIM 微服務提供，這是 NVIDIA AI Enterprise 軟件平臺的一部分。
DeepSeek-R1 NIM 微服務通過支持行業(yè)標準 API 簡化了部署。企業(yè)可以通過在其首選的加速計算基礎設施上運行 NIM 微服務來最大限度地提高安全性和數(shù)據(jù)隱私。將 NVIDIA AI Foundry 與 NVIDIA NeMo 軟件結合使用，企業(yè)還將能夠為專用 AI 代理創(chuàng)建自定義的 DeepSeek-R1 NIM 微服務。
IT之家注意到，為方便各種規(guī)模的企業(yè)部署 AI 服務，英偉達于 2024 年 3 月推出了 NIM（Nvidia Inference Microservices）云原生微服務。
NIM 是一套經(jīng)過優(yōu)化的云原生微服務，旨在縮短上市時間，并簡化生成式 AI 模型在云、數(shù)據(jù)中心和 GPU 加速工作站的任何位置的部署。它使用行業(yè)標準 API，抽象化 AI 模型開發(fā)和生產(chǎn)包裝的復雜性，從而擴展開發(fā)者池。
廣告聲明：文內(nèi)含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。