前段時間，高通舉行了 2023 年驍龍峰會。本次峰會最受關(guān)注的看點莫過于面向 PC 打造的最強(qiáng)計算處理器驍龍 X Elite 平臺，以及第三代驍龍 8 移動平臺的發(fā)布。他們都是集終端側(cè)智能、頂級性能和能效于一體的強(qiáng)大產(chǎn)品。
和以往驍龍旗艦平臺發(fā)布后大家集中討論性能、討論功耗等不同，今年的驍龍 X Elite 平臺和第三代驍龍 8 移動平臺發(fā)布后，大家將更多討論的焦點集中在了 AI 上，事實上，這兩款產(chǎn)品都是專為 AI 打造、由 AI 賦能的強(qiáng)大平臺，第三代驍龍 8 移動平臺更是將 AI 注入整個平臺系統(tǒng)，并開啟生成式 AI 的新時代。
眾所周知，AI 對于人們生產(chǎn)、生活的影響正在肉眼可見地持續(xù)擴(kuò)大和加深，這其中尤以生成式 AI 的火爆和快速應(yīng)用為關(guān)鍵節(jié)點。它的發(fā)展進(jìn)一步完善了人機(jī)交互的方式，特別是終端側(cè)生成式 AI 對于打造強(qiáng)大、快速、個性化、高效、安全和高度優(yōu)化的體驗至關(guān)重要，而這些變革性的體驗，都將由 AI 賦能的芯片在底層驅(qū)動。
而這一切對于高通來說，并非一蹴而就，而是多年深耕后水到渠成的結(jié)果。
多年深耕演變，AI 已成驍龍平臺關(guān)鍵基礎(chǔ)能力
關(guān)注高通的朋友們相信都會發(fā)現(xiàn)，過去這些年，高通一直在強(qiáng)調(diào)驍龍移動平臺的 AI 能力，同時 AI 在驍龍移動平臺中扮演的角色也越來越重要，越來越多元。
但無論技術(shù)如何進(jìn)化，應(yīng)用如何豐富，總體來說他們一直堅持的方向就是：將具有強(qiáng)大算力的人工智能技術(shù)應(yīng)用到終端上，推進(jìn)終端側(cè) AI 的發(fā)展。
比如早在 2007 年，高通就啟動了首個人工智能項目，那個時候，其實還是功能機(jī)的天下。經(jīng)過近 10 年的積累以及成果取得，高通在 2015 年驍龍 820 處理器上正式融入了第一代人工智能引擎 Zeroth，在 CPU 上實現(xiàn)運行神經(jīng)網(wǎng)絡(luò)。
當(dāng)時的 AI 應(yīng)用主要還是實現(xiàn)一些初級的功能，比如根據(jù)用戶拍攝的照片進(jìn)行智能化分類，識別出實物和汽車的圖像，分別存儲在兩個不同的文件夾，方便用戶更好地管理拍攝的照片等。
2016 年，高通發(fā)布了驍龍神經(jīng)處理引擎 SDK，而在 2017 年初，第二代人工智能引擎也隨著驍龍 835 的發(fā)布而問世。這一人工智能芯片推出后，智能手機(jī)開始進(jìn)入智能相冊管理和人臉識別的時代，特別是人臉識別的應(yīng)用，讓 AI 在智能終端上的存在感邁上了新臺階。
2018 年，隨著驍龍 845 移動平臺發(fā)布，高通第三代人工智能引擎 AI Engine 問世，這一代人工智能引擎中，高通開始引入 CPU、GPU 和 DSP 的異構(gòu)并行計算，AI 算力性能方面相比上一代提升了 3 倍，這讓智能手機(jī)也能擁有強(qiáng)大頂級的 AI 算力支持。
2019 年，AI Engine 隨著驍龍 855 移動平臺來到第四代，能夠?qū)崿F(xiàn)每秒超過 7 萬億次運算，讓 AI 在智能手機(jī)上有了更多元的應(yīng)用，比如當(dāng)時高通和網(wǎng)易合作利用 AI Engine 在部分驍龍移動平臺上加速有道實景 AR 翻譯功能，還有他們和騰訊合作借助驍龍神經(jīng)處理 SDK 來進(jìn)行終端側(cè)的實際應(yīng)用，比如手機(jī) QQ 的“高能舞室”功能等等。
2020 年驍龍 865 移動平臺中搭載了第五代 AI Engine，AI 性能相比上一代提升了 2 倍多，達(dá)到 15TOPS。強(qiáng)大的算力加持下 AI 在智能終端上的應(yīng)用也擴(kuò)展到了游戲、拍照、交互等領(lǐng)域。比如在影像領(lǐng)域，第五代 AI Engine 通過強(qiáng)大的 AI 能力作用于 Spectra 480 ISP ，對圖像數(shù)字信息進(jìn)行去除噪點、高光抑制、暗光補(bǔ)償?shù)缺姸鄡?yōu)化處理，讓當(dāng)時眾多手旗艦手機(jī)的拍照表現(xiàn)，尤其是動態(tài)范圍表現(xiàn)有了質(zhì)的提升。
接下來在驍龍 888 移動平臺中第六代 AI Engine 在性能上持續(xù)進(jìn)化，也推動智能終端在影像、游戲等方面的體驗越來越出色。比如高通曾和 Snapchat 合作，利用 AI 模型增效工具包，量化他們的一系列 AI 鏡頭模型，以提高人臉識別的準(zhǔn)確性和性能，還有可以在視頻中實現(xiàn)人像摳圖等等。
2021 年驍龍 8 Gen 1 移動平臺的第七代 AI Engine 實現(xiàn)了性能能效的雙翻倍，同時重點為終端攝像頭帶來了更智慧的感知能力，比如攝像頭人臉檢測更出色的自動對焦、自動曝光和自動白平衡（3A）與細(xì)節(jié)，還有當(dāng)終端感應(yīng)到有人在隔著用戶肩膀偷看手機(jī)，終端就會自動鎖屏。同時在驍龍 8 Gen 1 中高通還將 AI 技術(shù)融入到 Spectra ISP、以及調(diào)制解調(diào)器和射頻系統(tǒng)中，實現(xiàn)了實時人臉識別、 AI 天線調(diào)諧技術(shù)等能力。
而上一代驍龍 8 Gen 2 平臺更是 AI 無處不在，無論是影像、音頻、連接還是游戲等方面的體驗，都有 AI 的深度參與，同時“認(rèn)知 AI”成為高通致力于推進(jìn)的新方向、新階段，讓 AI 能夠從上下文、時間軸的維度去理解人類的認(rèn)知情感，這無疑是具有里程碑性質(zhì)的。
通過對驍龍平臺上 AI 技術(shù)和應(yīng)用演進(jìn)的回顧可以發(fā)現(xiàn)，AI 在終端體驗中的作用的確越來越關(guān)鍵和多元，從過去只偶爾出現(xiàn)在影像、情景感知等邊角的角色，逐漸發(fā)展到貫穿整個芯片所有關(guān)鍵領(lǐng)域，如今已然成為最關(guān)鍵基礎(chǔ)能力。
第三代驍龍 8 及驍龍 X Elite 宣告，移動芯片的 AI 時代已經(jīng)到來
過去我們談“終端體驗”，大部分人的視線還是聚焦在 CPU 性能，視野更廣一些，很多人還會關(guān)注 GPU、ISP、音頻、5G、Wi-Fi 等能力，這些的確構(gòu)成了我們更為全面的終端體驗。之前高通提出的集連接、AI、影像、音頻、游戲、安全六大支柱體驗于一芯的理念，為驍龍移動平臺帶來了全方位、幾乎沒有破綻和短板的移動體驗，這其中不可忽視的地方在于，六大支柱體驗的背后，有一個關(guān)鍵的底層驅(qū)動力，就是 AI。
而這次 2023 驍龍峰會讓我們看到，AI 正從底層的驅(qū)動力變成需要關(guān)注的焦點。在驍龍 8 Gen 3（第三代驍龍 8）和驍龍 X Elite 平臺上，高通將他們在終端側(cè) AI 方面的技術(shù)領(lǐng)先性和領(lǐng)導(dǎo)力徹底貫注到兩大芯片平臺上，讓 AI 真正成為全方位變革終端體驗的“明星”。
比如在第三代驍龍 8 移動平臺上，AI Engine（高通 AI 引擎）發(fā)展到了第九代，并做了積極的革新，高通將過去的 Hexagon 張量加速器升級為 Hexagon NPU，從而可以協(xié)調(diào)整個平臺。同時 Hexagon NPU 本身也升級了新的微架構(gòu)，整體性能提升 98％，能效提升了 40％。
同時驍龍 8 Gen 3 中高通在 Hexagon NPU 矢量單元和內(nèi)存之間增加了直連通道，大大增強(qiáng)了 AI 運算的處理效率。同時傳感器中樞也得到了升級，擁有內(nèi)存、兩個微型 NPU、Spectra DSP、雙 ISP 等不同模塊，可以隨時隨地提供高效的 AI 運算和處理。
在這些強(qiáng)大的升級加持下，驍龍 8 Gen 3 可以支持包括 Meta Llama 2 在內(nèi)的多種生成式 AI 大模型，并已經(jīng)能實現(xiàn)運行參數(shù)超過 100 億的大模型，每秒可執(zhí)行多達(dá) 20 Token。通過在終端側(cè)運行這些強(qiáng)大的大型模型，用戶無需再完全依賴云端。
今年早些時候，高通全球首次利用 Stable Diffusion 進(jìn)行圖像生成的終端側(cè)部署技術(shù)演示，該演示完全在終端側(cè)運行，用時不超過 15 秒。而通過第三代驍龍 8 運行這一模型僅需約 0.5 秒，強(qiáng)大的 AI 提升由此可見一斑。
在影像方面，驍龍 8 Gen 3 集成了三個感知 ISP，在強(qiáng)大的 AI 能力加持下，如今可以支持多達(dá) 12 層的語義分割，可以更精準(zhǔn)地識別物體和場景。
同時它還支持視頻場景下的物體智能消除，超級夜景功能也不再局限于拍照，更可用于錄像，這兩種能力沒有強(qiáng)勁的 AI 支撐是很難實現(xiàn)的。
就連 5G 也融入了 AI 的能力。驍龍 8 Gen 3 集成了全球首個毫米波硬件（QTM565）與 Sub-6 硬件相融合的調(diào)制解調(diào)器驍龍 X75，同時也擁有首個專用硬件張量加速器，高通 5G AI 處理器第二代將 AI 性能提高 2.5 倍，這樣便可以更智能地選擇最佳頻率，以實現(xiàn)最佳連接。
而全新驍龍 X Elite 計算平臺，則搭載了異構(gòu)的高通 AI 引擎，通過 NPU、CPU 和 GPU 能夠整體實現(xiàn) 75TOPS 的算力，相比 6 年前，其 AI 性能提高了 100 倍。
這其中，全新驍龍 X Elite 計算平臺搭載的 Hexagon NPU 算力可以達(dá)到 45 TOPS，在筆記本上運行 70 億參數(shù)的 Llama 2 模型時，能夠提供快速且準(zhǔn)確的響應(yīng)，處理速度則達(dá)到了 30 Tokens / s。
不僅如此，它還能完全在終端上運行超過 130 億參數(shù)的生成式模型，無需云端資源。這樣，生成式 AI 就能幫你起草完整的電子郵件、轉(zhuǎn)錄會議記錄，或者借助文本生成和圖像生成工具快速進(jìn)行研討等?；诮衲陞?shù)運行發(fā)展情況，相信未來的商用機(jī)上市時，能力有可能進(jìn)一步更新。
這些事過去還智能在數(shù)據(jù)中心里實現(xiàn)，現(xiàn)在憑借驍龍 X Elite 計算平臺，同樣的事就可以在 PC 本地端進(jìn)行。這正是基于高通多年的異構(gòu)架構(gòu)設(shè)計經(jīng)驗，讓其成為現(xiàn)代 AI PC 的完美解決方案。
可見無論是第三代驍龍 8 還是全新的驍龍 X Elite 計算平臺，他們都是專為 AI 設(shè)計的、甚至可以說由 AI 定義的芯片平臺，并且在 AI 的定義下，他們的連接、影像、音頻、游戲、安全等支柱體驗都得到了令人欣喜的增強(qiáng)。
移動芯片平臺的“AI 時代”，已經(jīng)到來。
AI 時代落地的最后一公里
當(dāng)然，僅僅是芯片平臺本身邁入“AI 時代”還不夠，對于廣大用戶來說，這些 AI 能力必須轉(zhuǎn)化為實際落地的產(chǎn)品和應(yīng)用，我們才算真正進(jìn)入 AI 時代。而這些則離不開高通和開發(fā)者們在軟件、工具層面的緊密合作，乃至與生態(tài)合作伙伴們的密切配合。
比如針對第三代驍龍 8 平臺移動端生成式 AI 能力的落地，高通擁有專門面向邊緣側(cè) AI 的領(lǐng)先軟件棧產(chǎn)品，高通 AI 軟件棧，能夠支持從軟件層面進(jìn)行模型優(yōu)化。通過高通 AI 軟件棧中算法、模型開發(fā)、 AI 模型增效工具包、編譯器、AI 引擎 Direct 等一系列工具，開發(fā)者們可以將他們想要實現(xiàn)的 AI 功能和體驗輕松引入終端。
而在終端以及應(yīng)用層面，高通也與合作伙伴們有深入的合作。例如作為終端廠商的小米很早就明確了“AI 全面賦能”的戰(zhàn)略，在 AI 模型上，小米選擇將他們的大模型重點放在端側(cè)計算上做優(yōu)化，在本次驍龍峰會上，他們展示了自研的 60 億參數(shù)大模型（6B 大模型）在驍龍 8 Gen 3 平臺上流暢運行。根據(jù)小米的介紹，他們運行于一個特殊的 NPU 之上，對 1000 tokens 的指令，只需 2.2 秒疾速生成首詞，這就是小米和高通深度合作取得的成果。
除了終端硬件廠商，高通也在與軟件廠商們合作推動生成式 AI 應(yīng)用的落地，比如他們和國內(nèi)的慧鯉科技，面向第三代驍龍 8 開發(fā)了一個神經(jīng)網(wǎng)絡(luò)，能夠重構(gòu)照片缺失的部分，即“照片擴(kuò)充”，它能支持用戶對照片進(jìn)行縮放，讓照片看起來具有廣角效果，即使并非用廣角鏡頭拍攝。
而對于驍龍 X Elite 計算平臺，在 PC 領(lǐng)域高通最重要的合作者莫過于微軟了，他們一直在和微軟工程團(tuán)隊合作優(yōu)化全新平臺的特性，微軟表示，絕大多數(shù)頂級應(yīng)用都將以超快速度和能效在搭載驍龍 X Elite 計算平臺的 Windows PC 上原生運行或通過無縫仿真運行，特別是微軟自身的生產(chǎn)力應(yīng)用，包括 Word, Excel, Powerpoint, Edge, Teams, OneDrive, OneNote 和 Outlook 都是原生的。
對于 Windows 11，微軟改進(jìn)了 Windows Studio Effects、宣布推出 AI Library，在更新中為 Copilot 和 Paint 等收件箱應(yīng)用程序中引入生成式 AI，還與諸如 Camo、Luminar Neo、WhatsApp 等進(jìn)行合作，共同優(yōu)化 Windows 平臺的生成式 AI 應(yīng)用體驗，而這些大家也都將在驍龍 X Elite 計算平臺驅(qū)動的 Windows PC 上得以體驗。
此外面向開發(fā)者們，高通還和微軟合作，推出了 Windows Dev Kit 2023。這個工具包包含了面向驍龍平臺開發(fā) Windows 應(yīng)用程序所需的一切，全都匯集在一臺設(shè)備中，包括一些出色的開發(fā)者工具，例如 Visual Studio 和 Unity runtime 引擎，它們被原生移植到 Arm 平臺。還有 ONNX Runtime 與相關(guān)執(zhí)行提供程序。這些都將助力開發(fā)人員制作具有強(qiáng)大 AI 功能的原生應(yīng)用。
結(jié)語
最后，相信在高通及其合作伙伴們的努力下，不僅僅是移動芯片平臺走向 AI 時代，更重要的是我們移動生活的方方面面，也都將因為與 AI 的交融而變得更加美好。
特別是眼下，各行各業(yè)數(shù)智化轉(zhuǎn)型的進(jìn)程正在全速推進(jìn)，而站在多項關(guān)鍵技術(shù)和行業(yè)趨勢交匯點上的高通，必將厚積薄發(fā)，和全行業(yè)一起推動 AI 的融合發(fā)展與創(chuàng)新，改變我們體驗世界的方式，讓數(shù)智化的未來加快成為現(xiàn)實。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。