IT之家 12 月 27 日消息,在今日下午的 OPPO Find X7 系列產(chǎn)品技術(shù)溝通會(huì)上,OPPO 公布了安第斯大模型 AndesGPT 的全新升級(jí)。
安第斯大模型將分成 1800 億參數(shù)、700 億參數(shù)、70 億參數(shù)三種體量,支持端云協(xié)同部署,根據(jù)不同場(chǎng)景的用戶需求實(shí)現(xiàn)智能調(diào)度。
OPPO 表示,AndesGPT 大模型通過強(qiáng)大的知識(shí)、記憶和工具能力,為小布助手帶來廣闊的知識(shí)面,以及個(gè)性專屬的智慧服務(wù)能力。通過獨(dú)創(chuàng)的 SwappedAttention 技術(shù),AndesGPT 還解決了長期記憶帶來首字推理延遲的問題。
IT之家從技術(shù)溝通會(huì)獲悉,通過 4bit 量化的模型壓縮,OPPO 的 Al Boost 推理引擎優(yōu)化,以及與芯片廠家聯(lián)合深度優(yōu)化等多項(xiàng)舉措,OPPO 在 Find X7 系列上首次實(shí)際端側(cè)應(yīng)用 70 億參數(shù)的大模型。
據(jù)介紹,在 AndesGPT 大模型 70 億參數(shù)大語言支持下,OPPO 端側(cè)具備超快的首字響應(yīng)速度,在文本內(nèi)容摘要的場(chǎng)景下,200 字的首字生成僅需 0.2s,領(lǐng)先友商 20 倍;2000 字首字生成僅需 2.9s,領(lǐng)先友商 2.5 倍;摘要字?jǐn)?shù)上限可達(dá) 14000 字,可以輕松輸入一篇常見期刊論文,領(lǐng)先友商模型能力 3.5 倍。
相比 10 億參數(shù)大模型,AndesGPT 70 億參數(shù)語言模型號(hào)稱在帶來更有“智商”的理解能力。以通話摘要功能舉例,AndesGPT 可以幫助用戶梳理通話內(nèi)容的要點(diǎn),并準(zhǔn)確地輸出帶有主題、要點(diǎn),以及待辦事項(xiàng)的通話內(nèi)容摘要,精準(zhǔn)程度“明顯優(yōu)于 10 億級(jí)別的端側(cè)模型”。
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。