IT之家 5 月 30 日消息，清華大學(xué)依托精密儀器系的類腦計(jì)算研究中心施路平教授團(tuán)隊(duì)提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式，并據(jù)此研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，實(shí)現(xiàn)了高速、高精度、高動(dòng)態(tài)范圍的視覺信息采集，突破了傳統(tǒng)視覺感知芯在穩(wěn)定性和安全性等方面的性能瓶頸。
今日，這項(xiàng)成果以《面向開放世界感知的類腦互補(bǔ)視覺芯片》 為題作為封面文章發(fā)表于頂級(jí)學(xué)術(shù)期刊《自然》上（IT之家附 DOI:10.1038/s41586-024-07358-4）。
官方表示，傳統(tǒng)視覺感知芯片受“功耗墻”和“帶寬墻”的限制，在應(yīng)對(duì)突發(fā)意外場(chǎng)景時(shí)往往面臨失真、失效或高延遲等問題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。
為了克服這些挑戰(zhàn)，清華大學(xué)精密儀器系類腦計(jì)算研究團(tuán)隊(duì)提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。該范式借鑒了人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機(jī)組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺感知通路。
基于這一新范式，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，在極低的帶寬（降低 90%）和功耗代價(jià)下，實(shí)現(xiàn)了每秒 10000 幀的高速、10bit 的高精度、130dB 的高動(dòng)態(tài)范圍的視覺信息采集。
基于“天眸芯”，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的應(yīng)用潛力。
值得一提的是，這是該團(tuán)隊(duì)繼異構(gòu)融合類腦計(jì)算“天機(jī)芯”后，第二次登上《自然》封面，標(biāo)志著我國(guó)在類腦計(jì)算和類腦感知兩個(gè)重要方向上均取得了基礎(chǔ)性突破。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。