可并行運行 128 個 LLaMA 2 7B 流，開發(fā)者測試蘋果 M2 Ultra 芯片模型推理表現(xiàn)

IT之家 10 月 13 日消息，據(jù) Y Combinator 論壇消息，名為 Georgi Gerganov 開發(fā)者日前使用蘋果 M2 Ultra 芯片，進行了一系列 LLaMA 模型推理測試，測試顯示該芯片在并行運行 128 個 Llama 2 7B 流時，效果較佳。

據(jù)悉，LLaMA 模型推理測試強調(diào)內(nèi)存帶寬，而非計算能力，而蘋果的 M2 Ultra 芯片號稱“內(nèi)存帶寬達 800GB/s”，因此推理時效果良好。

不過雖然 M2 Ultra 芯片的內(nèi)存帶寬具有優(yōu)勢，但用戶最多只能獲得 192 GB RAM，用戶花費 5600 美元（IT之家注：國行 44999 人民幣）購買搭載 M2 Ultra 芯片及 192GB 運行內(nèi)存的 Mac Studio，價格足夠買一臺“擁有 1TB RAM、搭載 RTX 4090 的 PC”。

Georgi Gerganov 據(jù)此認為，如果用戶的工作負載（如推理）不需要超過 192 GB，那么選擇相關(guān)機器時可以更重視“內(nèi)存帶寬”表現(xiàn)，但如果用戶有其他工作需求，則可以看看相對應(yīng)價格的 PC。

參考

• M2 Ultra can run 128 streams of Llama 2 7B in parallel

• 開發(fā)者在 GitHub 上提交的測試結(jié)果

廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。