IT之家 10 月 30 日消息,AMD 剛剛發(fā)布了一篇博客,講述了其 Ryzen AI 300 系列移動(dòng)處理器在本地大語言模型(LLM)性能方面的突破。
據(jù)稱,銳龍 AI 9 HX 375 處理器在 LM Studio(一款用于本地下載和托管 LLM 的桌面應(yīng)用,基于 llama.cpp,允許用 AVX2 指令來進(jìn)行 CPU 加速)進(jìn)行了測(cè)試,相比英特爾酷睿 Ultra 7 258V 更快。
AMD 在此次測(cè)試中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微軟 Phi 3.1 4k Mini Instruct 3b 模型、谷歌 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型,其中英特爾平臺(tái)采用了 8533 MT/s 內(nèi)存,而 AMD 平臺(tái)則為 7500 MT/s。
如圖所示,AI 9 HX 375 上述五個(gè)大模型的測(cè)試中都比 Ultra 7 258V 更快,無論是速度還是開始輸出文本的時(shí)間,優(yōu)勢(shì)最大時(shí)領(lǐng)先幅度達(dá)到了 27%。
IT之家提醒,英特爾 Ultra 7 258V 處理器與 HX 375 并不完全對(duì)等,其中 258V 屬于中高端產(chǎn)品,而 HX 375 屬于旗艦型號(hào),AMD 直接對(duì)比似乎有點(diǎn)不公平。
當(dāng)然,LM Studio 同樣支持 GPU 加速功能,而且 LM Studio 還支持 Vulkan API 進(jìn)行 GPU 加速。在啟用 GPU 加速后,AI 9 HX 375 比不使用 GPU 加速時(shí)快了 20%。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。