設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

AMD:AI 9 HX 375 處理器在 LM Studio 中 Token 生成速度比英特爾酷睿 Ultra 7 258V 快 27%

2024/10/30 22:34:50 來源:IT之家 作者:問舟 責(zé)編:問舟

IT之家 10 月 30 日消息,AMD 剛剛發(fā)布了一篇博客,講述了其 Ryzen AI 300 系列移動(dòng)處理器在本地大語言模型(LLM)性能方面的突破。

據(jù)稱,銳龍 AI 9 HX 375 處理器在 LM Studio(一款用于本地下載和托管 LLM 的桌面應(yīng)用,基于 llama.cpp,允許用 AVX2 指令來進(jìn)行 CPU 加速)進(jìn)行了測(cè)試,相比英特爾酷睿 Ultra 7 258V 更快。

AMD 在此次測(cè)試中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微軟 Phi 3.1 4k Mini Instruct 3b 模型、谷歌 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型,其中英特爾平臺(tái)采用了 8533 MT/s 內(nèi)存,而 AMD 平臺(tái)則為 7500 MT/s。

如圖所示,AI 9 HX 375 上述五個(gè)大模型的測(cè)試中都比 Ultra 7 258V 更快,無論是速度還是開始輸出文本的時(shí)間,優(yōu)勢(shì)最大時(shí)領(lǐng)先幅度達(dá)到了 27%。

IT之家提醒,英特爾 Ultra 7 258V 處理器與 HX 375 并不完全對(duì)等,其中 258V 屬于中高端產(chǎn)品,而 HX 375 屬于旗艦型號(hào),AMD 直接對(duì)比似乎有點(diǎn)不公平。

當(dāng)然,LM Studio 同樣支持 GPU 加速功能,而且 LM Studio 還支持 Vulkan API 進(jìn)行 GPU 加速。在啟用 GPU 加速后,AI 9 HX 375 比不使用 GPU 加速時(shí)快了 20%。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:ADM處理器

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知