設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

MWC 2024:高通推出全新 AI Hub,助力 AI 推理速度最高提升 4 倍

2024/2/26 16:22:26 來(lái)源:IT之家 作者:汐元 責(zé)編:汐元

IT之家 2 月 26 日消息,2024 年世界移動(dòng)通信大會(huì)已經(jīng)拉開序幕,今年的 MWC,5G 和 AI 仍然是最受關(guān)注的話題。比如高通就在今天的 MWC 發(fā)布活動(dòng)中正式推出了全新的高通 AI Hub,為開發(fā)者打造獲取開發(fā)資源的中心,從而可以基于驍龍或高通平臺(tái)打造 AI 應(yīng)用。

20240224213238

具體來(lái)說(shuō),高通 AI Hub 可以為開發(fā)者提供全面優(yōu)化的 AI 模型庫(kù),包括傳統(tǒng) AI 模型和生成式 AI 模型,能夠支持在驍龍和高通平臺(tái)上進(jìn)行部署。開發(fā)者只需選擇應(yīng)用所需的模型以及其開發(fā)應(yīng)用所使用的框架,然后確定目標(biāo)平臺(tái),例如一款特定型號(hào)的手機(jī)、或者一款特定型號(hào)的高通平臺(tái),完成這些后,高通 AI Hub 就可以為開發(fā)者提供面向其指定應(yīng)用、指定平臺(tái)進(jìn)行優(yōu)化的模型,開發(fā)者只需要幾行代碼就可以獲取模型,并將模型集成進(jìn)應(yīng)用程序。

20240224213304

高通 AI Hub 將支持超過(guò) 75 個(gè) AI 模型,包括傳統(tǒng) AI 模型和生成式 AI 模型。通過(guò)對(duì)這些模型進(jìn)行優(yōu)化,開發(fā)者運(yùn)行 AI 推理的速度將提升高達(dá) 4 倍。

20240224213315

不僅是速度提升,優(yōu)化后的模型占用的內(nèi)存帶寬和存儲(chǔ)空間也將減少,從而實(shí)現(xiàn)更高的能效和更持久的電池續(xù)航。

這些優(yōu)化模型將在高通 AI Hub、以及 HuggingFace 和 GitHub 上提供,讓開發(fā)者能夠?qū)?AI 模型便捷地集成到工作流中。

除了全新的 AI Hub,高通還在活動(dòng)中展示了全球首個(gè)在搭載第三代驍龍 8 的安卓手機(jī)上運(yùn)行的多模態(tài)大模型(LMM)。在這一演示中,高通展示了一個(gè)超過(guò) 70 億參數(shù)的 LMM,其支持文本、語(yǔ)音和圖像輸入,并能夠基于輸入的內(nèi)容進(jìn)行多輪對(duì)話。

20240224213338

同時(shí)高通還在搭載全新驍龍 X Elite 平臺(tái)的 Windows PC 上,帶來(lái)了另一個(gè)多模態(tài) AI 的演示。這是全球首個(gè)在 Windows PC 上運(yùn)行的音頻推理多模態(tài)大模型,它能理解鳥鳴、音樂(lè)或家中的不同聲音,并且能夠基于這些信息進(jìn)行對(duì)話,為用戶提供幫助。

20240224213350

例如,多模態(tài)大語(yǔ)言模型能夠理解用戶輸入的音樂(lè)類型和風(fēng)格,為用戶提供音樂(lè)的歷史以及相似的音樂(lè)推薦,或通過(guò)對(duì)話的方式為用戶調(diào)節(jié)周圍的音樂(lè)。

這些模型都經(jīng)過(guò)優(yōu)化,能夠?qū)崿F(xiàn)出色的性能和能效,并完全在終端側(cè)運(yùn)行,增強(qiáng)隱私性、可靠性、個(gè)性化以及成本優(yōu)勢(shì)。

還有就是,高通還展示了他們首個(gè)在安卓手機(jī)上運(yùn)行的 LoRA 模型。LoRA 能夠在不改變底層模型的前提之下,調(diào)整或定制模型的生成內(nèi)容。通過(guò)使用很小的適配器(大小僅為模型的 2%,便于下載),就能夠個(gè)性化定制整個(gè)生成式 AI 模型的行為。

20240224213523

例如在演示中,模型能夠根據(jù)不同個(gè)人或藝術(shù)偏好創(chuàng)建高質(zhì)量自定義圖像。高通表示這一技術(shù)不僅能夠運(yùn)用于圖像生成,也可以應(yīng)用于大語(yǔ)言模型等多種生成式 AI 模型,是實(shí)現(xiàn)個(gè)性化生成式 AI 的高效方式。

MWC 2024 世界移動(dòng)通信大會(huì)專題

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:高通mwc,AI

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知