設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

這個(gè)新型 AI 電子器件沒有硅!北航 32 歲教授共同一作,能模擬大腦神經(jīng)元,還登上了 Science

量子位 2022/2/8 10:51:26 責(zé)編:瀟公子

用鈣鈦礦取代硅研制電子器件,居然還能被用來完成 AI 計(jì)算???眾所周知,鈣鈦礦作為一種重要的材料,摻雜后主要用于生產(chǎn) SCI 及博士論文(手動(dòng)狗頭)。這次被用在開發(fā)新型 AI 電子器件上,還登上了 Science,結(jié)果讓人眼前一亮:其心律識(shí)別任務(wù)的平均性能是傳統(tǒng)硬件的 5.1 倍,并且還能靈活模擬動(dòng)態(tài)網(wǎng)絡(luò)、降低訓(xùn)練能耗。

用神經(jīng)形態(tài)計(jì)算降能耗

這項(xiàng)研究主要是通過向鈣鈦礦中摻入不同量的氫,來模擬人類神經(jīng)元活動(dòng),從而完成不同機(jī)器學(xué)習(xí)任務(wù)。這主要是基于鈣鈦礦自身的特性。鈣鈦礦具備獨(dú)特的晶體結(jié)構(gòu),很容易吸收氫離子。氫離子的加入可以改變材料的導(dǎo)電性,由此也就可以讓材料制備成一種可切換狀態(tài)的 AI 電子器件。

在這里研究人員使用了一種混合了釹和鎳的鈣鈦礦材料。通過向這一材料中混合不同含量的氫離子,來改變?cè)牟煌瑺顟B(tài),以此實(shí)現(xiàn)對(duì)大腦神經(jīng)元活動(dòng)的模擬。

具體來看,在這種材料中加入大量氫離子后,它的電子最終會(huì)轉(zhuǎn)移到鎳原子上,導(dǎo)致原子電性發(fā)生改變,進(jìn)而影響材料的導(dǎo)電性。這時(shí),施加外部電場(chǎng)可以控制氫的電子轉(zhuǎn)移;再控制氫的含量,則可以讓該電子元件在 4 種不同模式之間切換。這 4 種模式分別是神經(jīng)元模式、突觸模式、電阻器模式和記憶電容器模式。

其中,在不摻雜或少量摻雜氫離子的情況下,該材料處于電阻器模式,可以用來存儲(chǔ)和處理信息。在經(jīng)過一個(gè)電子脈沖刺激后,該硬件可切換到記憶電容器模式。記憶電容器是模仿大腦結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)系統(tǒng)的常見元件。神經(jīng)元模式會(huì)積累多個(gè)信號(hào),此時(shí)元件電阻會(huì)發(fā)生明顯變化,可以模擬人類大腦神經(jīng)元被刺激時(shí)的活動(dòng)狀態(tài)。突觸模式則是根據(jù)神經(jīng)元信號(hào)的強(qiáng)度來轉(zhuǎn)換輸入。

之所以會(huì)想到向鈣鈦礦這種材料中摻入氫,是因?yàn)檠芯咳藛T想要利用神經(jīng)擬態(tài)計(jì)算來構(gòu)建這一新器件。這是一種不同于普通馮?諾依曼計(jì)算體系的結(jié)構(gòu),它主要通過模擬人腦神經(jīng)元和突觸的活動(dòng)來完成機(jī)器學(xué)習(xí)任務(wù)。它最大的好處就是可以降低計(jì)算能耗,這對(duì)于解決未來更復(fù)雜、更大規(guī)模的 AI 計(jì)算具有重大意義。由此一來,在進(jìn)行 AI 計(jì)算時(shí),便無需在硬件上激活、關(guān)閉不同的部分,只需控制硬件調(diào)整到相應(yīng)模式即可。研究人員還表示,這種電子器件的內(nèi)部是亞穩(wěn)定狀態(tài),可以保持 6 個(gè)月不用替換氫離子。

實(shí)驗(yàn)結(jié)果

那么,這種硬件在不同神經(jīng)網(wǎng)絡(luò)中的表現(xiàn)如何?就成為了驗(yàn)證其性能的關(guān)鍵。在這里,研究人員使用了兩個(gè)神經(jīng)網(wǎng)絡(luò)作為測(cè)試。

第一個(gè)是一種儲(chǔ)層計(jì)算網(wǎng)絡(luò),這是一種模擬人類大腦運(yùn)作方式的機(jī)器學(xué)習(xí)系統(tǒng)。它的運(yùn)作過程是將信息輸入到一個(gè)儲(chǔ)層,其中的數(shù)據(jù)以各種方式連接在一起,然后這些數(shù)據(jù)再被送出儲(chǔ)層進(jìn)行分析。由此一來,該網(wǎng)絡(luò)也就無需預(yù)訓(xùn)練大量數(shù)據(jù),僅對(duì)輸出前的最后一層網(wǎng)絡(luò)做梯度下降即可。其中的關(guān)鍵儲(chǔ)層,將分別用此次提出的新電子器件和傳統(tǒng)硬件來完成運(yùn)算。

與傳統(tǒng)理論儲(chǔ)層和實(shí)驗(yàn)儲(chǔ)層相比,這種新型儲(chǔ)層(H-NNO)在 MINIST(手寫數(shù)字識(shí)別)、SpokenDight(音頻數(shù)字識(shí)別)、ECGHeartBeat(心率識(shí)別)三個(gè)任務(wù)上都能使用更少的設(shè)備、實(shí)現(xiàn)相同的性能。平均性能則分別高出 1.4 倍、1.2 倍和 5.1 倍。

此外,基于這一新型電子器件設(shè)計(jì)的動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò),在處理增量學(xué)習(xí)上的表現(xiàn)也非常好。如下網(wǎng)絡(luò)(GWR)是一個(gè)可以識(shí)別紅鳥、黃鳥的系統(tǒng)。理想狀態(tài)下,當(dāng)網(wǎng)絡(luò)檢測(cè)到新類型(藍(lán)鳥)的輸入時(shí),系統(tǒng)會(huì)通過增加節(jié)點(diǎn)的方式來擴(kuò)大網(wǎng)絡(luò)規(guī)模。

如果其中任何一類動(dòng)物長(zhǎng)時(shí)間沒有出現(xiàn)在輸入中,其對(duì)應(yīng)的節(jié)點(diǎn)也會(huì)隨之關(guān)閉,以此來節(jié)省能耗。

研究人員繼續(xù)使用了手寫數(shù)字識(shí)別這一數(shù)據(jù)集來進(jìn)行測(cè)試。首先,他們讓網(wǎng)絡(luò)識(shí)別 0-4 范圍內(nèi)的數(shù)字。然后將范圍擴(kuò)大到 0-9 訓(xùn)練一段時(shí)間,之后再只識(shí)別 0-4。結(jié)果顯示,隨著后來 5-9 的數(shù)字不再出現(xiàn),網(wǎng)絡(luò)中的相關(guān)節(jié)點(diǎn)也在逐漸關(guān)閉。下圖 i-iii 中,數(shù)字表示對(duì)應(yīng)打開節(jié)點(diǎn),黑色區(qū)域則表示關(guān)閉的節(jié)點(diǎn)。

再將這一動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)與靜態(tài)網(wǎng)絡(luò)對(duì)比,研究人員發(fā)現(xiàn)在增量學(xué)習(xí)場(chǎng)景下,對(duì)于 MNIST、CUB-200 兩個(gè)數(shù)據(jù)集,動(dòng)態(tài)網(wǎng)絡(luò)的表現(xiàn)都更好。從如下圖 B-E 中可以看到,在 MINIST 數(shù)據(jù)集測(cè)試中,動(dòng)態(tài)網(wǎng)絡(luò)最終準(zhǔn)確性是靜態(tài)網(wǎng)絡(luò)的 2.1 倍;數(shù)據(jù)集 CUB-200 的最終準(zhǔn)確性則是靜態(tài)網(wǎng)路的 2.5 倍。

北航張海天教授為共同一作及通訊作者

北京航空航天大學(xué)張海天教授為該論文的共同一作及通訊作者。

他博士畢業(yè)于美國(guó)賓夕法尼亞州立大學(xué)材料科學(xué)與工程專業(yè)。2018 年獲得美國(guó)吉爾布雷斯學(xué)者基金(Gilbreth Research Fellow),于普渡大學(xué)工程院開展獨(dú)立研究工作(合作教授:Shriram Ramanathan 以及 Kaushik Roy)。去年 9 月,張海天全職加入北京航空航天大學(xué)材料科學(xué)與工程學(xué)院。主要研究領(lǐng)域?yàn)楣δ芟嘧儾牧系恼{(diào)控及神經(jīng)計(jì)算學(xué)器件應(yīng)用、磁性功能材料、納米材料等。

論文鏈接:

https://www.science.org/doi/10.1126/science.abj7943

參考鏈接:

https://arstechnica.com/science/2022/02/hydrogen-soaked-crystal-lets-neural-networks-expand-to-match-a-problem/

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:電子器件,材料,研究

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知