IT之家 11 月 28 日消息，月之暗面 Kimi 和清華大學(xué) MADSys 實(shí)驗(yàn)室 2024 年 6 月聯(lián)合發(fā)布了 Kimi 底層的 Mooncake 推理系統(tǒng)設(shè)計(jì)方案。該系統(tǒng)基于以 KVCache 為中心的 PD 分離和以存換算架構(gòu)，提升了推理吞吐量。
近日，為了進(jìn)一步加速該技術(shù)框架的應(yīng)用與推廣，月之暗面 Kimi 和清華大學(xué) MADSys 實(shí)驗(yàn)室聯(lián)合 9#AISoft、阿里云、華為存儲(chǔ)、面壁智能、趨境科技等共同發(fā)布開(kāi)源項(xiàng)目 Mooncake，共建以 KVCache 為中心的大模型推理架構(gòu)。
11 月 28 日，Mooncake 技術(shù)框架已開(kāi)源上線，IT之家附地址如下：
https://github.com/kvcache-ai/Mooncake
據(jù)介紹，Mooncake 開(kāi)源項(xiàng)目從論文延伸，以超大規(guī)模 KVCache 緩存池為中心，通過(guò)以存換算的創(chuàng)新理念大幅度減少算力開(kāi)銷(xiāo)，提升了推理吞吐量。
本次開(kāi)源將采用分階段的方式，逐步開(kāi)源高性能 KVCache 多級(jí)緩存 Mooncake Store 的實(shí)現(xiàn)，同時(shí)針對(duì)各類(lèi)推理引擎和底層存儲(chǔ) / 傳輸資源進(jìn)行兼容。其中傳輸引擎 Transfer Engine 部分現(xiàn)在已經(jīng)在 GitHub 全球開(kāi)源。
Mooncake 開(kāi)源項(xiàng)目的最終目標(biāo)是，為大模型時(shí)代打造一種新型高性能內(nèi)存語(yǔ)義存儲(chǔ)的標(biāo)準(zhǔn)接口，并提供參考實(shí)現(xiàn)方案。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。