困擾數(shù)學(xué)家百年的微分方程難題，被 MIT 解決了！
這個微分方程可以用來模擬神經(jīng)元間通過突觸的相互作用方式，換言之就是大腦傳遞信息的過程。現(xiàn)實生活中有諸多應(yīng)用場景，比如自動駕駛、大腦和心臟的監(jiān)測等。
然而，以前求解這個微分方程的過程比較復(fù)雜，計算量還會隨著數(shù)據(jù)的增加而暴增 ——
模擬幾個神經(jīng)元之間的信息傳遞還好。但如果像人腦一樣，有幾百億個神經(jīng)元、幾百萬億個突觸呢？
現(xiàn)在，研究人員終于找到了這個微分方程的近似解析解，一下子將計算速度提升了好幾倍。
要知道，論文第一作者表示，從 1907 年以來，就一直沒有人能找到這個微分方程的解析解。
牽一發(fā)而動全身，論文第一作者還放話稱：
由數(shù)十億個神經(jīng)元和數(shù)萬億個突觸組成的大腦動力學(xué)，我們現(xiàn)在也可以模擬了！
還有網(wǎng)友表示：
這將會改善神經(jīng)網(wǎng)絡(luò)對大規(guī)模數(shù)據(jù)計算的適應(yīng)能力。點個贊！
相關(guān)論文已發(fā)表在最新一期的 Nature MI 上，立刻引發(fā)了不少關(guān)注：
到底是什么樣的一個數(shù)學(xué)難題，能夠讓網(wǎng)友產(chǎn)生這樣大的反應(yīng)，一起來看看~
解決了一個什么樣的難題？
這次 MIT 的突破，在于找到了兩個神經(jīng)元之間通過突觸相互作用微分方程的近似解析解。
突觸，即一個神經(jīng)元的沖動傳到另一個神經(jīng)元或另一細胞間的相互接觸的結(jié)構(gòu)。兩個神經(jīng)元之間神經(jīng)沖動，則是由突觸前末梢，傳遞給突觸后神經(jīng)元的。
要模擬神經(jīng)元間通過突觸相互作用的過程，就需要模擬傳導(dǎo)的動作電位。
MIT 研究人員先是用去年做出來的“液體”神經(jīng)網(wǎng)絡(luò) （Liquid Time-constant Networks，簡稱 LTC）模擬了這一現(xiàn)象。
如下圖，x (t) 就是研究希望求解的突觸后神經(jīng)元電位，但之前它需要通過直接求解微分方程來計算，也就是圖中左邊的一大堆方程：
BUT，他們很快發(fā)現(xiàn)，LTC 神經(jīng)網(wǎng)絡(luò)模型雖然模擬得好，但常微分方程（ODE）計算還是不夠快，通常需要結(jié)合 ODE 求解器來搞定。
即通過左邊的一堆公式，雖然在給定時間 t 的情況下也能算出 x (t) 來，但它不僅算得慢，而且誤差還會隨著求解過程中的迭代計算一步步被放大。
但如果能求出 x (t) 的解析解，也就是求出等式右邊不包含 x (t) 這個變量的公式，那么計算效率就能得到成倍的提升。
然而，求解這個常微分方程 dv / dt=?glv (t)+S (t) 的方法，從 1907 年提出以來還沒有人求出過它的解析解。
在通過一番計算后，研究人員終于得出了這個微分方程的近似解析解，能很好地近似出 x (t) 的數(shù)值：
最關(guān)鍵的是解析解能“一步到位”地求出結(jié)果，研究人員表示這比正常求微分方程模型快上 1~5 倍。
依靠這個新的近似解析解，研究人員提出了一種名叫 CfC （closed-form continuous-depth networks，閉式連續(xù)深度神經(jīng)網(wǎng)絡(luò)）的模型，進一步提升了計算效率、降低了微分方程求解帶來的近似誤差（approximation error）。
求解出來與原微分方程的相似度也極高：
所以 CfC 的提出，究竟解決了什么問題？
作者：下一步建立大腦計算模型
提到 CfC 的作用，還得先說回它的基礎(chǔ)，也就是 MIT 去年建立的“液體”神經(jīng)網(wǎng)絡(luò)（LTC）。
當(dāng)時“液體”神經(jīng)網(wǎng)絡(luò)的提出，是用于簡化如視頻處理、金融數(shù)據(jù)和醫(yī)療診斷這類與連續(xù)時間強相關(guān)的問題計算。
這類問題往往與時間的相關(guān)度很高（如股票、視頻等變量會不停地隨著時間產(chǎn)生變化），這也導(dǎo)致它們的變化情況難以預(yù)測，往往需要求解非常復(fù)雜的偏微分方程。
“液體”神經(jīng)網(wǎng)絡(luò)就是為了解決這一點出現(xiàn)的，確實也提升了這類場景的計算效率。
然而，建立“液體”神經(jīng)網(wǎng)絡(luò)的靈感雖然來自小物種的大腦，具有很強的靈活性和適應(yīng)能力，不過計算量仍然不算低 ——
一旦增加神經(jīng)元和突觸的數(shù)量，計算機可能就因為數(shù)據(jù)計算量過大“撐不住”了。
這不，今年 MIT 就帶著 CfC 神經(jīng)網(wǎng)絡(luò)來了！
與“Liquid”神經(jīng)網(wǎng)絡(luò)相比，CfC 可謂去粗取精，它既保留了“Liquid”網(wǎng)絡(luò)的靈活、因果、穩(wěn)定和可解釋性，同時數(shù)量級更快、可擴展性更高。
換句話說，就是 CfC 更快更強了，而這也意味著它能夠適用于更多任務(wù)。
論文中的測試結(jié)果顯示，CfC 在一系列任務(wù)中表現(xiàn)都要優(yōu)于 SOTA 神經(jīng)網(wǎng)絡(luò)。
比如說在一項醫(yī)學(xué)預(yù)測任務(wù)中，對 8000 名患者進行抽樣調(diào)查，新模型的速度要比連續(xù)潛伏模型快 220 倍。
其中，CfC 在從運動傳感器識別人類活動、建立模擬步行機器人的物理動力學(xué)模型以及基于事件的連續(xù)圖像處理方面具有相當(dāng)高的加速度和性能。
而這對應(yīng)到現(xiàn)實的實際應(yīng)用，就是無人駕駛、無人機導(dǎo)航或者各類預(yù)測任務(wù)。
值得一提的是，據(jù) MIT 消息，此前也已有證據(jù)證明，CfC 神經(jīng)網(wǎng)絡(luò)能夠在沒有額外學(xué)習(xí)的情況下將所學(xué)技能遷移到一個全新的環(huán)境中，這恰恰是人工智能研究最基本的挑戰(zhàn)之一。
（沒錯，CfC 也是不容小覷的）
這一步研究團隊解決了神經(jīng)元之間如何相互作用的描述，那下一步準(zhǔn)備干啥？他們立了個 flag：
希望通過測量數(shù)百萬個神經(jīng)元連接，建立大腦動力學(xué)模型。
論文的第一作者，同時也是 MIT CSAIL 研究所附屬機構(gòu)的 Ramin Hasani 也表示：
一旦我們對神經(jīng)元和突觸的聯(lián)系有了一個解析解描述，我們就可以用數(shù)十億個細胞建立大腦的計算模型了。
據(jù)神經(jīng)學(xué)家估計，人腦神經(jīng)元數(shù)量在 1000 億個左右，不知道團隊是否會挑戰(zhàn)“模擬人類大腦”這一難題（手動狗頭）。
目前 CfC 模型已經(jīng)開源，想要拿它用來模擬一些問題計算的小伙伴，可以去看看了~
CfC 項目地址：
https://github.com/raminmh/CfC
論文地址：
https://www.nature.com/articles/s42256-022-00556-7
本文來自微信公眾號：量子位 （ID：QbitAI），作者：Pine 蕭簫
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。