IT之家 3 月 27 日消息，據(jù)外媒 Tom's Hardware 報(bào)道，群聯(lián)在英偉達(dá) GDC2024 上展示了同 Maingear 合作的 aiDaptiv+ 硬件平臺(tái)，可降低中小型企業(yè) AI 模型微調(diào)訓(xùn)練成本。
群聯(lián)表示中小型企業(yè)在模型微調(diào)訓(xùn)練方面面臨各種困難：采用云服務(wù)不僅昂貴也存在數(shù)據(jù)隱私的不穩(wěn)定性；而在本地運(yùn)行又需要復(fù)雜的構(gòu)建過程，電力需求也不能忽視。
而群聯(lián) aiDaptiv+ 方案采用超耐用型 aiDAPTIVCache 固態(tài)硬盤，可擴(kuò)展系統(tǒng)的可用內(nèi)存容量，容納更大模型，同時(shí)也方便易用。
具體來說，aiDaptiv+ 包含的中間件軟件庫可將 GPU 顯存中不活躍的 AI 模型層切片分離，在 aiDAPTIVCache 緩存固態(tài)硬盤上暫放待處理的這些切片，并將 GPU 上已完成的部分與待處理的切片交換。此過程無需對(duì) AI 應(yīng)用本身進(jìn)行修改。
群聯(lián)表示，其 aiDaptiv+ 方案可在一臺(tái) 4 卡工作站平臺(tái)中完成 Llama 70b 模型的微調(diào)訓(xùn)練，容納顯存總量 7 倍以上的數(shù)據(jù)。
而為了實(shí)現(xiàn)這種顯存外數(shù)據(jù)存儲(chǔ)，方案中的固態(tài)硬盤必須要有足夠高的耐久。
群聯(lián)此次推出的 aiDAPTIVCache 系列固態(tài)硬盤 ai100E，其采用 SLC 閃存，每根容量 2TB，擁有 5 年內(nèi) 100DWPD（IT之家注：每日整盤寫入次數(shù)）的寫入耐久。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。