設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

利用固態(tài)硬盤降低 AI 微調(diào)訓(xùn)練顯存需求,群聯(lián)展示 aiDaptiv+ 平臺(tái)

2024/3/27 16:03:23 來源:IT之家 作者:溯波(實(shí)習(xí)) 責(zé)編:汪淼

IT之家 3 月 27 日消息,據(jù)外媒 Tom's Hardware 報(bào)道,群聯(lián)在英偉達(dá) GDC2024 上展示了同 Maingear 合作的 aiDaptiv+ 硬件平臺(tái),可降低中小型企業(yè) AI 模型微調(diào)訓(xùn)練成本。

群聯(lián)表示中小型企業(yè)在模型微調(diào)訓(xùn)練方面面臨各種困難:采用云服務(wù)不僅昂貴也存在數(shù)據(jù)隱私的不穩(wěn)定性;而在本地運(yùn)行又需要復(fù)雜的構(gòu)建過程,電力需求也不能忽視。

而群聯(lián) aiDaptiv+ 方案采用超耐用型 aiDAPTIVCache 固態(tài)硬盤,可擴(kuò)展系統(tǒng)的可用內(nèi)存容量,容納更大模型,同時(shí)也方便易用。

具體來說,aiDaptiv+ 包含的中間件軟件庫可將 GPU 顯存中不活躍的 AI 模型層切片分離,在 aiDAPTIVCache 緩存固態(tài)硬盤上暫放待處理的這些切片,并將 GPU 上已完成的部分與待處理的切片交換。此過程無需對(duì) AI 應(yīng)用本身進(jìn)行修改。

群聯(lián) aiDaptiv+ 方案介紹

▲ 圖源 Tom's Hardware

群聯(lián) aiDaptiv+ 方案組成

▲ 圖源 Tom's Hardware

群聯(lián)表示,其 aiDaptiv+ 方案可在一臺(tái) 4 卡工作站平臺(tái)中完成 Llama 70b 模型的微調(diào)訓(xùn)練,容納顯存總量 7 倍以上的數(shù)據(jù)。

群聯(lián) aiDaptiv+ 方案性能

▲ 圖源群聯(lián)官方

而為了實(shí)現(xiàn)這種顯存外數(shù)據(jù)存儲(chǔ),方案中的固態(tài)硬盤必須要有足夠高的耐久。

群聯(lián)此次推出的 aiDAPTIVCache 系列固態(tài)硬盤 ai100E,其采用 SLC 閃存,每根容量 2TB,擁有 5 年內(nèi) 100DWPD(IT之家注:每日整盤寫入次數(shù))的寫入耐久。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:固態(tài)硬盤,人工智能,群聯(lián),AI訓(xùn)練

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知