英特爾開源 NPU 加速庫，方便使開發(fā)人員優(yōu)化其 AI 應(yīng)用

IT之家 3 月 3 日消息，@Tony Mongkolsmai 發(fā)現(xiàn)，英特爾已經(jīng)在 GitHub 上開源了其 NPU 加速庫，支持 Windows 和 Linux。

開發(fā)人員可以按照相應(yīng)文檔對(duì)其軟件進(jìn)行優(yōu)化，從而適配新一代 AI 模型，包括 TinyLlama 和 Gemma-2b-it。

根據(jù)官方描述：英特爾 NPU 加速庫是一個(gè) Python 庫，旨在利用英特爾神經(jīng)處理單元 (NPU) 的強(qiáng)大性能在兼容硬件上執(zhí)行高速計(jì)算，從而提高應(yīng)用的效率。

英特爾還表示其 NPU 加速庫目前不斷開發(fā)中，后續(xù)將推出各種能顯著提高性能的功能，截至IT之家發(fā)稿已經(jīng)實(shí)現(xiàn)了 8bit 量化、Float16 支持、torch.compile 支持等，后續(xù)還將支持 NPU / GPU 異構(gòu)計(jì)算等功能。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。