IT之家 3 月 14 日消息，清華大學(xué)高性能計(jì)算研究所翟季冬教授團(tuán)隊(duì)、清華系科創(chuàng)企業(yè)清程極智今日聯(lián)合宣布，大模型推理引擎“赤兔 Chitu”現(xiàn)已開(kāi)源。
據(jù)介紹，該引擎首次實(shí)現(xiàn)在非英偉達(dá) Hopper 架構(gòu) GPU 及各類(lèi)國(guó)產(chǎn)芯片上原生運(yùn)行 FP8 精度模型，實(shí)現(xiàn) DeepSeek 推理成本降低一半、性能翻番。其定位為“生產(chǎn)級(jí)大模型推理引擎”，提供如下特性：
多元算力適配：不僅支持 NVIDIA 最新旗艦到舊款的多系列產(chǎn)品，也為國(guó)產(chǎn)芯片提供優(yōu)化支持。
全場(chǎng)景可伸縮：從純 CPU 部署、單 GPU 部署到大規(guī)模集群部署，赤兔引擎提供可擴(kuò)展的解決方案。
長(zhǎng)期穩(wěn)定運(yùn)行：可應(yīng)用于實(shí)際生產(chǎn)環(huán)境，穩(wěn)定性足以承載并發(fā)業(yè)務(wù)流量。
官方表示，當(dāng)前開(kāi)源的赤兔引擎在部署 DeepSeek-R1-671B 滿(mǎn)血版時(shí)，在 A800 集群的測(cè)試中，相比部分國(guó)外開(kāi)源框架，實(shí)現(xiàn)了 GPU 使用量減少 50% 的同時(shí)，推理速度提升 3.15 倍。
IT之家附開(kāi)源地址：https://github.com/thu-pacman/chitu
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。