IT之家 5 月 2 日消息,目前大多數(shù) AI 聊天機器人都需要連接到云端進行處理,即使可以本地運行的也配置要求極高。那么是否有輕量化的、無需聯(lián)網(wǎng)的聊天機器人呢?
一個名為 MLC LLM 的全新開源項目已在 GitHub 上線,完全本地運行無需聯(lián)網(wǎng),甚至集顯老電腦、蘋果 iPhone 手機都能運行。
MLC LLM 項目介紹稱:“MLC LLM 是一種通用解決方案,它允許將任何語言模型本地部署在一組不同的硬件后端和本地應(yīng)用程序上,此外還有一個高效的框架,供每個人進一步優(yōu)化自己用例的模型性能。一切都在本地運行,無需服務(wù)器支持,并通過手機和筆記本電腦上的本地 GPU 加速。我們的使命是讓每個人都能在設(shè)備上本地開發(fā)、優(yōu)化和部署 AI 模型。”
IT之家查詢 GitHub 頁面發(fā)現(xiàn),這個項目的開發(fā)者來自卡內(nèi)基梅隆大學(xué)的 Catalyst 計劃、SAMPL 機器學(xué)習(xí)研究小組以及華盛頓大學(xué)、上海交通大學(xué)和 OctoML 等。他們還有一個名為 Web LLM 的相關(guān)項目,該項目可以完全在網(wǎng)絡(luò)瀏覽器中運行 AI 聊天機器人。
MLC LLM 使用了 Vicuna-7B-V1.1,后者是一種基于 Meta 的 LLaMA 的輕量級 LLM,效果雖然不如 GPT3.5 或 GPT4,但在大小方面比較占優(yōu)勢。
目前,MLC LLM 可用于 Windows、Linux、macOS 和 iOS 平臺,暫時還沒有適用于 Android 的版本。
根據(jù)外媒 tomshardware 的測試,6GB 內(nèi)存的蘋果 iPhone 14 Pro Max 和 iPhone 12 Pro Max 手機成功運行了 MLC LLM,安裝大小為 3GB。而 4GB 內(nèi)存的蘋果 iPhone 11 Pro Max 無法運行 MLC LLM。
此外,ThinkPad X1 Carbon(第 6 代)也測試成功運行 MLC LLM,這是一款搭載 i7-8550U 處理器的筆記本,沒有獨立顯卡,配有英特爾 UHD 620 GPU。MLC LLM 在 PC 平臺需要通過命令行運行,外媒測試表現(xiàn)一般般,回復(fù)時間需要將近 30 秒,而且?guī)缀鯖]有連續(xù)對話能力,希望能在后續(xù)版本中得到改進吧。
MLC LLM 的 GitHub 頁面:點此查看
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。