設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

量子 CNN 不存在梯度消失問(wèn)題,物理學(xué)家已完成理論證明

量子位 2021/10/27 14:20:31 責(zé)編:長(zhǎng)河

量子計(jì)算機(jī)上的機(jī)器學(xué)習(xí),也就是量子神經(jīng)網(wǎng)絡(luò)(QNN),有許多傳統(tǒng)神經(jīng)網(wǎng)絡(luò)望塵莫及的潛力,比如量子數(shù)據(jù)分析。

然而許多 QNN 架構(gòu),沒(méi)法對(duì)大型問(wèn)題進(jìn)行訓(xùn)練,因?yàn)樗鼈兌即嬖谥柏汃じ咴保╞arren plateau),也就是隨系統(tǒng)規(guī)模增大梯度呈指數(shù)級(jí)消失的問(wèn)題。

這無(wú)疑當(dāng)頭一盆冷水。

克服不了這個(gè)問(wèn)題,就沒(méi)法挖掘量子計(jì)算機(jī)在人工智能應(yīng)用中的全部潛力。

好在,來(lái)自美國(guó)阿拉莫斯實(shí)驗(yàn)室(LANL)的科學(xué)家經(jīng)過(guò)分析發(fā)現(xiàn),最新提出的量子卷積神經(jīng)網(wǎng)絡(luò) (QCNN),不會(huì)出現(xiàn)梯度消失!

這一發(fā)現(xiàn)無(wú)疑具有巨大的突破性,可以為量子人工智能在材料發(fā)現(xiàn)等應(yīng)用的研究之路清除障礙。

不存在梯度消失問(wèn)題的量子卷積神經(jīng)網(wǎng)絡(luò)

先來(lái)看看什么是量子卷積神經(jīng)網(wǎng)絡(luò)。

它由哈佛大學(xué)于 2019 年提出,是一種特殊的量子神經(jīng)網(wǎng)絡(luò),涉及一系列卷積層和池化層交錯(cuò),在保留相關(guān)數(shù)據(jù)特征信息的同時(shí)減少了量子比特的數(shù)量。

QCNN 可用于糾錯(cuò)、量子相位檢測(cè)和圖像識(shí)別等方面。

△ QCNN 概念圖

來(lái)自阿拉莫斯實(shí)驗(yàn)室的研究人員一直在研究如何減輕量子神經(jīng)網(wǎng)絡(luò)中“貧瘠高原”的影響,但一直缺乏完全規(guī)避該問(wèn)題的方法。

ps.之所以在量子計(jì)算機(jī)中叫“貧瘠高原”,是因?yàn)樗推胀ㄉ窠?jīng)網(wǎng)絡(luò)中的梯度消失還不能說(shuō)是完全一模一樣。

“貧瘠高原”是指當(dāng)量子計(jì)算機(jī)的比特?cái)?shù)目較大時(shí),當(dāng)前量子神經(jīng)網(wǎng)絡(luò)的框架很容易變得無(wú)法有效進(jìn)行訓(xùn)練,其目標(biāo)函數(shù)會(huì)變得很平,導(dǎo)致梯度太低難以繼續(xù)訓(xùn)練。

回到此項(xiàng)研究,這次研究人員針對(duì)以下兩個(gè)假設(shè)嚴(yán)格分析了 QCNN 成本函數(shù)梯度的 scaling:

(1) QCNN 中的所有 2-qubit 單元形成獨(dú)立不相關(guān)的 2-designs(用低深度量子電路可輕松滿足);

(2)成本函數(shù)相對(duì)于輸入密度矩陣是線性的。

最終,在這兩個(gè)假設(shè)下,他們證明了成本函數(shù)偏導(dǎo)數(shù)的方差隨著系統(tǒng)大小消失的速度并不比多項(xiàng)式快。

這意味著成本函數(shù) landscape 中不會(huì)表現(xiàn)出“貧瘠高原”,因此 QCNN 體系結(jié)構(gòu)可以在參數(shù)的隨機(jī)初始化下進(jìn)行訓(xùn)練 —— 這可是許多 QNN 體系結(jié)構(gòu)都不能做到的。

ps.證明過(guò)程采用了一種新的圖形表示方法,也涉及了較復(fù)雜的推導(dǎo),感興趣的可以查看論文。

研究人員表示,這樣的 QCNN 是可以短期內(nèi)實(shí)現(xiàn)量子計(jì)算機(jī)機(jī)器學(xué)習(xí)優(yōu)勢(shì)的候選框架。

具體的例子比如,將陶瓷材料作為高溫超導(dǎo)體改善磁懸浮列車等無(wú)摩擦運(yùn)輸時(shí),需要篩選給定材料各種狀態(tài)的大量相(phase)數(shù)據(jù)集,并將這些狀態(tài)與相位關(guān)聯(lián),以確定高溫超導(dǎo)的最佳狀態(tài)。

但這種事情普通計(jì)算機(jī)上的神經(jīng)網(wǎng)絡(luò)根本沒(méi)法做到,而量子神經(jīng)網(wǎng)絡(luò)在未來(lái)就可以。

論文地址:

https://journals.aps.org/prx/abstract/10.1103/PhysRevX.11.041011

參考鏈接:

https://phys.org/news/2021-10-breakthrough-proof-path-quantum-ai.html

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知