GAN 這回玩了票大的,把手伸向了“人腦思維”。
沒錯(cuò),直接就是一個(gè)“合成思維”—— 生成用來喂給腦機(jī)接口的那種大腦活動(dòng)數(shù)據(jù)。
作者表示,這是 AI 首次在該領(lǐng)域被應(yīng)用。并且這項(xiàng)技術(shù)一舉把訓(xùn)練腦機(jī)接口系統(tǒng)提取、分析大腦信號的時(shí)間,提高了整整 20 倍。
此項(xiàng)研究來自南加大華人博士溫士賢團(tuán)隊(duì)。
論文已發(fā)表在 Nature 子刊上。
而在我們與作者溫士賢的深入交談中,他表示會繼續(xù)推進(jìn)相關(guān)研究:
這項(xiàng)研究成果未來可以用于諸多神經(jīng)解碼問題上,自己也會繼續(xù)在失眠、自閉癥、多動(dòng)癥、阿茲海默癥等疾病的個(gè)性化的干預(yù)和阻斷上進(jìn)行研究。
首次用 AI 合成“思維”
可是問題就來了,為什么要用 AI 去“偽造”神經(jīng)活動(dòng)數(shù)據(jù)呢?
直接用人類的不好嗎?
還真不一定好。
比如,今年 5 月份登上 Nature 封面的意念打字研究,這位代號 T5,全身癱瘓的老爺子是唯一的受試者:
模型所需的訓(xùn)練數(shù)據(jù),就是這位老爺子在腦中一筆一畫“寫”出來的字母:
在腦海中想象文字的軌跡和手動(dòng)書寫本來就難度不同,而模型需要的還不僅是幾個(gè)字母,而是大量重復(fù)的書寫數(shù)據(jù)。
要讓一位殘疾人每天花幾個(gè)小時(shí)去做重復(fù)任務(wù),不僅辛苦,數(shù)據(jù)收集的速度和數(shù)據(jù)集最終的大小自然都非常有限。
而在要讓算法解讀神經(jīng)活動(dòng)信號的腦機(jī)接口,本身也是一個(gè)機(jī)器學(xué)習(xí)問題。
因此,算法效果當(dāng)然會依賴于巨量訓(xùn)練數(shù)據(jù)的支撐,而在實(shí)際實(shí)驗(yàn)中,真不一定弄得到那么多數(shù)據(jù)。
就算有充足的可用數(shù)據(jù),不同受試對象的神經(jīng)元信號也存在差異。
一個(gè)人的數(shù)據(jù)訓(xùn)練出來的解碼算法要應(yīng)用到另一個(gè)人身上,就必須重頭再來。
除此之外,就算是同主體上的解碼算法的效果,也會隨著時(shí)間推移而變差,需要定期重新校準(zhǔn)。
更何況,有些最需要腦機(jī)接口幫助的殘障人士,因神經(jīng)系統(tǒng)損壞已經(jīng)無法發(fā)送相應(yīng)的信號了。
那么,要如何解決或者改善上面這些問題呢?
溫士賢博士表示:
GAN 就完事兒了。
讓猴子玩貪吃蛇
這次研究的被試者是兩只小猴子,它們需要完成的任務(wù)很簡單。
屏幕上會有物體在隨機(jī)位置出現(xiàn),小猴子要用搖桿控制屏幕上的光標(biāo)去接觸這個(gè)物體。
結(jié)合論文的配圖一看,大概類似于貪吃蛇?
小猴子手臂處植入的電極陣列會采集神經(jīng)的運(yùn)動(dòng)控制(Motor Control)信號。
初級運(yùn)動(dòng)皮層的神經(jīng)元會以 1-2 毫秒間隔釋放 100 毫伏左右的間歇性脈沖,神經(jīng)元每次激發(fā)就會產(chǎn)生一個(gè)峰值。
這種活動(dòng)模式被叫做峰電位序列 (Spike Train)。
▲ 真實(shí)神經(jīng)元的峰電位序列
研究人員先用雙向 LSTM 網(wǎng)絡(luò)設(shè)計(jì)了 GAN 中的生成器和鑒別器,用采集到的神經(jīng)數(shù)據(jù)加上隨機(jī)高斯噪聲來合成新的數(shù)據(jù)。
研究要解決的關(guān)鍵問題,是如何只用少量真實(shí)采集的數(shù)據(jù)來生產(chǎn)可用的合成數(shù)據(jù)。
▲ 合成的峰電位序列
對于神經(jīng)信號來說,合成數(shù)據(jù)的可用性面臨兩個(gè)問題:
不同個(gè)體產(chǎn)生的信號有不同模式,就連同一個(gè)體在不同時(shí)間的神經(jīng)信號也會不同。
而之前的步驟就相當(dāng)于預(yù)訓(xùn)練,下一步就是針對這些情況來微調(diào)。
結(jié)合另一只猴子或同一只猴子在不同時(shí)間采集的數(shù)據(jù)來作微調(diào),最終產(chǎn)生大量可適用于不同情況的峰電位序列。
最后一步就是驗(yàn)證用少量真實(shí)數(shù)據(jù) + 大量合成的數(shù)據(jù)訓(xùn)練腦機(jī)接口解碼器,以驗(yàn)證效果。
最終他們只用不到 1 分鐘的真實(shí)數(shù)據(jù)加上合成數(shù)據(jù),就能當(dāng) 20 分鐘的真實(shí)數(shù)據(jù)用。
論文最后提到,雖然這次研究只實(shí)驗(yàn)了猴子的運(yùn)動(dòng)控制信號,不過研究所用的方法是純數(shù)據(jù)驅(qū)動(dòng)的,不對運(yùn)動(dòng)控制問題有額外的設(shè)計(jì)。
換句話說,這篇論文提出的方法是通用的,如果用于其他神經(jīng)的編碼解碼問題,只需要做最小限度的修改即可。
論文第一作者溫士賢在與杜克大學(xué)腦機(jī)接口專家 Miguel Nicolelis 合作的另一項(xiàng)研究中還做了讓小猴子玩跑步機(jī)的實(shí)驗(yàn)。
溫士賢表示,這是 AI 第一次用于合成思維或運(yùn)動(dòng)信號,能推進(jìn)腦機(jī)接口技術(shù)的進(jìn)一步應(yīng)用落地。
不過還有最后一個(gè)問題,以猴子為實(shí)驗(yàn)對象做出來的方法能不能遷移到人類身上?
在與量子位的交流中,溫士賢認(rèn)為僅從解碼算法的角度來看問題不大,研究中已經(jīng)考慮到了這一點(diǎn)。
更多的問題是腦機(jī)接口硬件和材料的設(shè)計(jì)問題,比設(shè)備和人類生物細(xì)胞的兼容度,還有采集芯片怎么快速和安全的植入到正確的位置等。
“腦機(jī)接口的重點(diǎn)還是科學(xué)”
論文的一作溫士賢本科畢業(yè)于北京交通大學(xué),現(xiàn)在是一名南加州大學(xué)維特比工程學(xué)院的博士生,就讀于計(jì)算機(jī)系,主要研究方向是 AI 和神經(jīng)科學(xué)。
而他的導(dǎo)師是南加州大學(xué)的計(jì)算機(jī)科學(xué),心理學(xué)和神經(jīng)科學(xué)的副教授 Laurent Itti。
Laurent Itti 主要研究視覺注意、場景理解、眼球運(yùn)動(dòng)控制等領(lǐng)域,同時(shí)也是多個(gè)開源的神經(jīng)形態(tài)視覺軟件工具包的開發(fā)者。
腦機(jī)接口其實(shí)并不是導(dǎo)師 Itti 的主要研究方向,神經(jīng)科學(xué)一開始只是溫士賢自己的興趣。
在研究生期間,又一次他看到杜克大學(xué)腦機(jī)接口專家 Miguel Nicolelis 教授著名的 TED 演講,介紹了他們?nèi)绾斡媚X機(jī)接口幫助一個(gè)癱瘓青年用意念在巴西足球世界杯上開了第一球。
后來更是有機(jī)會到 Nicolelis 教授的實(shí)驗(yàn)室實(shí)習(xí),這一實(shí)驗(yàn)室的研究成果中,就有通過腦機(jī)接口技術(shù)幫助一個(gè)殘疾人在巴西足球世界杯上開了第一球。
這算是我第一次和腦機(jī)接口“結(jié)緣”。
而這次的論文是溫士賢自己拉來日內(nèi)瓦大學(xué)和美國西北大學(xué)的研究者一起合作完成。
現(xiàn)在,溫士賢即將博士畢業(yè),而他也選擇繼續(xù)在 AI + 神經(jīng)科學(xué)的方向從業(yè)。
目前他已經(jīng)面試了一些國內(nèi)的大學(xué)和研究機(jī)構(gòu),以及當(dāng)紅的腦機(jī)接口公司,已經(jīng)拿到一些不錯(cuò)的 Offer。
而關(guān)于腦機(jī)接口,神經(jīng)科學(xué)的行業(yè)現(xiàn)狀和趨勢,溫士賢表示:
腦科學(xué)的市場本身有巨大的需求,比如 Neuralink 的腦疾病治療、Apple 的 mental health 評估、Meta 的 Ctrl lab 在元宇宙中改善人機(jī)交互的硬件等等。
所以它的重點(diǎn)還是科學(xué),而不是比誰的市場化做的更好。
因此,這種商業(yè)模式是最有利于我們這種科研人員創(chuàng)業(yè)的。
論文地址:點(diǎn)此直達(dá)
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。