設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

高通“呼朋喚友”推進(jìn)端側(cè) AI 新時(shí)代:騰訊混元部署 7B / 3B 模型、智譜適配優(yōu)化 GLM-4V、網(wǎng)易升級(jí)《永劫無間》手游 AI 隊(duì)友

2024/10/22 4:29:08 來源:IT之家 作者:故淵 責(zé)編:故淵

IT之家 10 月 22 日消息,高通公司在今天舉辦的驍龍峰會(huì)上,推出了驍龍 8 至尊版移動(dòng)平臺(tái),這是迄今為止高通最強(qiáng)大且全球速度最快的移動(dòng)端系統(tǒng)級(jí)芯片。峰會(huì)首日,高通公司宣布和智譜、騰訊混元合作,共同推動(dòng)端側(cè) AI 模型部署和落地。

驍龍 8 至尊版芯片 AI 性能

Hexagon NPU 融合了包含標(biāo)量(scalar)、向量(vector)和張量(tensor)等 AI 加速器架構(gòu),支持 INT4、INT8、INT16 和 FP16 精度,能夠利用大型語言模型(LLMs)和大型動(dòng)作模型(LAMs),以支持全球最大的生成 AI 生態(tài)系統(tǒng)。

更多 AI 方面的細(xì)節(jié),可以參考IT之家此前文章《驍龍 8 至尊版芯片開啟端側(cè) AI 新時(shí)代:Hexagon NPU 性能最高提升 12 倍,全面增強(qiáng)拍照、連接等》。

騰訊混元

驍龍 8 至尊版通過支持基于硬件的 INT4 量化技術(shù),實(shí)現(xiàn)騰訊混元大模型 7B 和 3B 版本的終端側(cè)部署,可以大幅提升騰訊混元大模型在終端側(cè)的運(yùn)行效率,端側(cè)推理實(shí)現(xiàn)首個(gè) token 生成時(shí)延達(dá)到 150ms,解碼速率達(dá)到超過 30 tokens / 秒。

騰訊混元大模型已為騰訊內(nèi)部超過 700 個(gè)業(yè)務(wù)場景和 C 端應(yīng)用提供底層技術(shù)支持,在驍龍 8 至尊版芯片上部署后,能更好地滿足廣泛的終端側(cè)業(yè)務(wù)需求。

例如騰訊手機(jī)管家短信智能識(shí)別功能通過海量數(shù)據(jù)結(jié)合深度神經(jīng)網(wǎng)絡(luò)與預(yù)訓(xùn)練,能夠更準(zhǔn)確地理解短信意圖,讓短信召回率大幅提高將近 200%,識(shí)別準(zhǔn)確率提升 20%。

智譜

高通與智譜合作,為驍龍 8 至尊版適配優(yōu)化 GLM-4V 端側(cè)視覺大模型,支持豐富的多模態(tài)交互方式。

GLM-4V 端側(cè)視覺大模型能夠?qū)崿F(xiàn)令人驚嘆的處理能力,以超過 70 tokens / 秒的速度在終端側(cè)高速運(yùn)行。

此外通過與驍龍 8 至尊版進(jìn)行深度適配和推理優(yōu)化,終端側(cè)多模態(tài)應(yīng)用 ChatGLM 能夠支持三種終端側(cè)交互方式:使用相機(jī)進(jìn)行實(shí)時(shí)語音對話、上傳照片進(jìn)行對話、上傳視頻進(jìn)行對話。

豐富的多模態(tài)輸入輸出方式賦能智能助手 ChatGLM 實(shí)現(xiàn)了跨家庭、出行、工作和教育等多個(gè)場景的應(yīng)用,例如:

  • 通過手機(jī)攝像頭獲取穿搭建議

  • 利用視覺信息實(shí)現(xiàn)智能導(dǎo)航

  • 通過車內(nèi)攝像頭識(shí)別遺留物品

  • 拍攝畫作進(jìn)行風(fēng)格解析

網(wǎng)易

網(wǎng)易公司和高通合作,基于高通驍龍 8 至尊版芯片,采用一系列 Snapdragon Elite Gaming 特性,并在終端側(cè)帶來全新升級(jí)的 AI 隊(duì)友功能,打造創(chuàng)新的《永劫無間》手游體驗(yàn)。

高通技術(shù)公司和網(wǎng)易還針對線程調(diào)度進(jìn)行聯(lián)合調(diào)優(yōu),并應(yīng)用驍龍遮擋剔除(Snapdragon Occlusion Culling)等 Snapdragon Elite Gaming 特性,從而打造更加穩(wěn)定的游戲體驗(yàn)。

在《永劫無間》手游極致畫質(zhì)下,與前代平臺(tái)相比,驍龍 8 至尊版的平均幀數(shù)提升 22 幀,幀率穩(wěn)定性提升 43%,助力實(shí)現(xiàn)更加流暢、穩(wěn)定的復(fù)雜多人競技場景。

基于驍龍 8 至尊版強(qiáng)大的高通 Hexagon? NPU,《永劫無間》手游首次將具有 18 億參數(shù)的大語言模型引入終端側(cè),利用包括軟件和工具在內(nèi)的高通 AI Stack 的全棧優(yōu)化,打造全新升級(jí)的端到端 AI 隊(duì)友功能。

該功能可以讓 AI 隊(duì)友不僅聽懂玩家的語音對戰(zhàn)指令并執(zhí)行,還能夠通過語音指導(dǎo)新手游玩;不僅如此,玩家還能夠與 AI 隊(duì)友進(jìn)行自然的語音交流,獲得優(yōu)質(zhì)隊(duì)友的情緒價(jià)值。

  • 在終端側(cè)推理可以顯著降低網(wǎng)絡(luò)傳輸帶來的時(shí)延,使得首詞時(shí)延控制在 300 毫秒以內(nèi)

  • 用戶數(shù)據(jù)無需上傳云端,這將大大提升用戶的隱私的安全性

  • 將 AI 推理從云端遷移到終端側(cè),可以充分利用驍龍 8 至尊版強(qiáng)大的終端側(cè) AI 推理能力,從而降低云端運(yùn)行成本并降低能耗

高通峰會(huì) 2024 專題:驍龍 8 至尊版芯片登場

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:高通,騰訊,網(wǎng)易,AI,智譜,驍龍峰會(huì)2024

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知