戴上一套特殊裝備后，就能把自己的想法在屏幕上展示出來。
—— 沒錯，這位無法說話的癱瘓者正在“意念回復(fù)”ing……
他在腦中默讀字母的“代號”*，平均約 2 秒鐘就可以輸出一個字母，最終平均字符錯誤率僅 6.13%。
研究者表示，這種腦機(jī)接口堪稱截癱和漸凍癥患者的福音：
從大腦活動中解碼語音來幫患者“說話”，是一種非常有潛力的新方案！
去年，斯坦大學(xué)研究團(tuán)隊也給一位癱瘓且無法說話的老爺子植入了腦機(jī)接口，成果還登上了 Nature 封面。
雖然準(zhǔn)確率超過了 99%，但他們用的另一種方式：讓患者在腦中“手寫”字母。
而現(xiàn)在這個用腦機(jī)接口來讀取大腦中“語音”的團(tuán)隊，來自加利福尼亞大學(xué)舊金山分校（UCSF）。
最近，他們的相關(guān)論文登上了 Nature Communications。
下面就來看看這群研究者具體是如何操作的。
植入腦機(jī)接口，讀取大腦“語音”
植入患者頭部的設(shè)備如下：
一組高密度的電極，即 128 通道皮質(zhì)電圖（ECoG）陣列；另外還有一個經(jīng)皮連接器，用來連接植入設(shè)備和外部系統(tǒng)。
其實早 2019 年，這些設(shè)備就被植入到該患者的頭部。幾年過去了，目前沒有任何手術(shù)并發(fā)癥。
在拼寫測試正式開始前，是數(shù)據(jù)的收集和預(yù)處理。
研究人員通過植入的 ECoG 陣列以及外部計算機(jī)系統(tǒng)，來提取并分析患者神經(jīng)特征，包括高伽馬活動（High-gamma activity，HGA）和低頻信號（ Low-frequency signal，LFS）等。
其中，高伽馬活動是判斷成年人認(rèn)知功能的重要指標(biāo)；而分析低頻振蕩則有助于判斷大腦中想象的語音以及腦損傷程度。
為了提高數(shù)據(jù)質(zhì)量，研究者使用濾波器對所得數(shù)據(jù)進(jìn)行了降噪處理。
研究者由這些數(shù)據(jù)得出，雖然患者癱瘓且無法說話，但他的腦子基本正常。
下面，拼寫試驗正式開始 —— 首先，患者在大腦中默念一個單詞來自動喚醒 AI。
然后根據(jù)屏幕上顯示出的問題，在腦子中按字母作答，并根據(jù)提示每 2 秒左右想象一個字母。
不過他在腦中默念的并非每個字母本身讀音，而是其 NATO 代碼（比如 α 代替 a，β 代替 b）。
因為 NATO 代碼比字母本身發(fā)音更長、更多變，按理來說應(yīng)該更容易被辨別。
為了證明默念 NATO 代碼發(fā)音確實比字母本身發(fā)音效果更好，研究人員還專門做了對比實驗。
結(jié)果顯示，默讀 NATO 代碼時，大腦神經(jīng)的活動整體差異性真的比讀字母原發(fā)音明顯，并且總體識別準(zhǔn)確率也更高。
在患者“意念輸出”的同時，基于 RNN 的字母分類模型會處理每一個神經(jīng)時間窗。
研究者設(shè)計了單詞錯誤率（WER）、字符錯誤率（CER）、每分鐘單詞數(shù)（WPM）等指標(biāo)來評估解碼的句子。
結(jié)果顯示，對于一個 1152 個單詞的詞匯表，字符錯誤率的中位數(shù)近 6.13%，單詞錯誤率的中位數(shù)為 10.53%。
也就是說，患者想象的這些單詞中，近九成都能一次性準(zhǔn)確表達(dá)。
另外，研究人員還將這一方法推廣到包含 9170 個單詞的詞匯表中，字符平均錯誤率也僅 8.23%。
實際上，該團(tuán)隊在去年就搞出了類似的“意念輸出”裝備，當(dāng)時他們讓開頭這位癱瘓且失語多年的患者成功“說話”，每分鐘能表達(dá) 15 個單詞左右。
但當(dāng)時這個 AI 掌握的總詞匯量少得可憐，只有 50 多個，且解碼錯誤率約為 25%。
由此可見，在一年左右的時間內(nèi)，研究團(tuán)隊對這個腦機(jī)接口完成了飛躍式升級。
當(dāng)然，他們也表示，患者目前必須按以預(yù)先設(shè)定的速度來想象字母讀音（比如每 2.5 秒想象一個），這樣還不夠靈活。
而且現(xiàn)在的結(jié)果僅限于一個參與者，該方法效果到底怎么樣，后續(xù)還需要在更多的患者中得到驗證。
研究團(tuán)隊簡介
最后，再來看看本研究背后的團(tuán)隊：他們來自加利福尼亞大學(xué)舊金山分校（UCSF）韋爾神經(jīng)科學(xué)研究所。
UCSF 是加州大學(xué)系統(tǒng)的十所分校之一。
論文的共同一作有 3 位：Sean L. Metzger，Jessie R. Liu 和 David A. Moses，他們目前均為 UCSF 的博士研究生。
通訊作者 Edward F. Chang 教授，現(xiàn)任神經(jīng)外科醫(yī)生兼 UCSF 神經(jīng)外科系主任。
Chang 教授博士畢業(yè)于 UCSF，后曾到 UC 伯克利從事認(rèn)知神經(jīng)科學(xué)的博士后研究。
他的重點(diǎn)研究方向為語言、運(yùn)動和人類情感的大腦機(jī)制，希望能借此幫助癱瘓和語言障礙患者恢復(fù)一定的正常功能。
論文地址：
https://www.nature.com/articles/s41467-022-33611-3
參考鏈接：
[1]https://www.youtube.com/watch?v=RRX0j32ABSU
[2]https://bigthink.com/neuropsych/brain-implant-letters-paralyzed-speak/
[3]https://www.nature.com/articles/s41586-021-03506-2
本文來自微信公眾號：量子位 （ID：QbitAI），作者：Alex
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。