設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

5 年后 AI 所需算力超 100 萬倍,十二家機(jī)構(gòu)聯(lián)合發(fā)表 88 頁長(zhǎng)文:「智能計(jì)算」是解藥

新智元 2023/1/31 18:55:05 責(zé)編:夢(mèng)澤

 AI 模型所需算力每 100 天就要翻一倍,遠(yuǎn)超摩爾定律的 18-24 個(gè)月,智能計(jì)算能破局這種算力困境嗎?

人工智能就是一個(gè)「拼財(cái)力」的行業(yè),如果沒有高性能計(jì)算設(shè)備,別說開發(fā)基礎(chǔ)模型,就連微調(diào)模型都做不到。

但如果只靠拼硬件,單靠當(dāng)前計(jì)算性能的發(fā)展速度,遲早有一天無法滿足日益膨脹的需求,所以還需要配套的軟件來協(xié)調(diào)統(tǒng)籌計(jì)算能力,這時(shí)候就需要用到「智能計(jì)算」技術(shù)。

最近,來自之江實(shí)驗(yàn)室、中國工程院、國防科技大學(xué)、浙江大學(xué)等多達(dá)十二個(gè)國內(nèi)外研究機(jī)構(gòu)共同發(fā)表了一篇論文,首次對(duì)智能計(jì)算領(lǐng)域進(jìn)行了全面的調(diào)研,涵蓋了理論基礎(chǔ)、智能與計(jì)算的技術(shù)融合、重要應(yīng)用、挑戰(zhàn)和未來前景。

論文鏈接:https://spj.science.org/ doi / 10.34133 / icomputing.0006

這也是第一篇正式提出智能計(jì)算的定義及其統(tǒng)一理論框架的評(píng)論文章,全文結(jié)構(gòu)如下。

AI 開啟大規(guī)模算力時(shí)代

人類社會(huì)正在從信息社會(huì)進(jìn)入智能社會(huì),計(jì)算已經(jīng)成為規(guī)范和推動(dòng)社會(huì)發(fā)展的關(guān)鍵因素。在萬物互聯(lián)的數(shù)字文明新時(shí)代,傳統(tǒng)的數(shù)據(jù)計(jì)算遠(yuǎn)遠(yuǎn)不能滿足人類對(duì)更高智能水平的日益增長(zhǎng)的需求。

人們對(duì)智能計(jì)算的興趣日益濃厚,加上計(jì)算科學(xué)的發(fā)展,對(duì)物理世界的智能感知,以及對(duì)人類意識(shí)認(rèn)知機(jī)制的理解,共同提升了計(jì)算的智能水平,加速了知識(shí)的發(fā)現(xiàn)和創(chuàng)造。

近年來,計(jì)算和信息技術(shù)快速發(fā)展,由于深度學(xué)習(xí)的空前普及和成功,人工智能(AI)已被確立為人類探索機(jī)器智能的前沿領(lǐng)域,并在此基礎(chǔ)上取得了一系列突破性的研究成果,包括:

Yann LeCun 提出的卷積神經(jīng)網(wǎng)絡(luò)(CNN);Yoshua Bengio 在深度學(xué)習(xí)的因果推理領(lǐng)域的貢獻(xiàn);Geoffrey Hinton,人工智能的先驅(qū)之一,在 2006 年提出了深度置信網(wǎng)絡(luò)(Deep Brief Network)模型和反向傳播優(yōu)化算法。

J?urgen Schmidhuber 提出了廣為使用的循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和長(zhǎng)短期記憶(LSTM),并成功用于處理序列數(shù)據(jù),如語音、視頻和時(shí)序數(shù)據(jù)。

2016 年 3 月,DeepMind 推出的人工智能圍棋程序 AlphaGo 與世界頂級(jí)人類圍棋大師李世石展開對(duì)戰(zhàn),引起了全世界前所未有的關(guān)注,這場(chǎng)劃時(shí)代的人機(jī)大戰(zhàn)以人工智能的壓倒性勝利而告終,并成為將人工智能的浪潮推向一個(gè)全新的高度的催化劑。

人工智能的另一個(gè)重要推動(dòng)者是大型預(yù)訓(xùn)練模型的出現(xiàn),這些模型已經(jīng)開始廣泛用于自然語言和圖像處理,在遷移學(xué)習(xí)的幫助下處理各種各樣的應(yīng)用。

例如,GPT-3 已經(jīng)證明,一個(gè)具有高度結(jié)構(gòu)復(fù)雜性和大量參數(shù)的大型模型可以提高深度學(xué)習(xí)的性能,在 GPT-3 的啟發(fā)下,涌現(xiàn)了大量的大規(guī)模深度學(xué)習(xí)模型。

智能和計(jì)算

計(jì)算能力是支撐智能計(jì)算的重要因素之一。

鑒于信息社會(huì)中天文數(shù)字般的數(shù)據(jù)源、異構(gòu)的硬件配置和不斷變化的計(jì)算需求,智能計(jì)算主要通過垂直和水平架構(gòu)來滿足智能任務(wù)的計(jì)算能力要求。

垂直架構(gòu)(vertical architectures)的特點(diǎn)是同質(zhì)化的計(jì)算基礎(chǔ)設(shè)施,主要通過應(yīng)用智能方法提高資源利用效率來提升計(jì)算能力。

相比之下,水平架構(gòu)(horizontal architecture)協(xié)調(diào)和安排異構(gòu)和廣域(wide-area)計(jì)算資源以最大限度地提高協(xié)作計(jì)算的效率。

例如,2020 年 4 月,為了應(yīng)對(duì)全球 COVID-19 研究的計(jì)算需求,F(xiàn)olding@home 在三周內(nèi)聯(lián)合 40 萬名計(jì)算志愿者實(shí)現(xiàn)了 2.5Exaflops 的計(jì)算量,比世界上任何一臺(tái)超級(jí)計(jì)算機(jī)的計(jì)算能力都要強(qiáng)。

盡管在智能和計(jì)算方面已經(jīng)取得了巨大的成功,但這兩個(gè)領(lǐng)域仍然面臨著一些難題。

智能的挑戰(zhàn)

使用深度學(xué)習(xí)的人工智能目前在可解釋性、通用性、可進(jìn)化性和自主性方面仍沒有解決。

目前的大多數(shù)人工智能技術(shù)與人類智能相比,只能發(fā)揮微弱的作用,而且只在特定的領(lǐng)域或任務(wù)中發(fā)揮作用,實(shí)現(xiàn)強(qiáng)大且通用的人工智能仍有很長(zhǎng)的路要走。

最后,從基于數(shù)據(jù)的智能升級(jí)到更多樣化的智能形式,包括感知智能、認(rèn)知智能、自主智能和人機(jī)融合智能等,也存在重大的理論和技術(shù)挑戰(zhàn)。

計(jì)算的挑戰(zhàn)

數(shù)字化浪潮帶來了前所未有的應(yīng)用、連接、終端和用戶的增長(zhǎng),以及產(chǎn)生的數(shù)據(jù)量,都需要巨大的計(jì)算能力。

例如,人工智能所需的計(jì)算能力每 100 天翻一番,也就是說,預(yù)計(jì)在未來五年內(nèi)將增加超過 100 萬倍。

隨著摩爾定律逐漸失效,要跟上如此快速增長(zhǎng)的計(jì)算能力要求變得很有挑戰(zhàn)性。

摩爾定律:集成電路上可容納的晶體管數(shù)目,約每隔兩年便會(huì)增加一倍

智能社會(huì)中的大規(guī)模任務(wù)的處理依賴于各種具體計(jì)算資源的有效組合,傳統(tǒng)的硬件模式不能很好地適應(yīng)智能算法,極大限制了軟件的發(fā)展。

何為智能計(jì)算?

時(shí)至今日,仍然沒有一個(gè)被廣泛接受的智能計(jì)算定義。

一些研究人員將智能計(jì)算視為人工智能和計(jì)算技術(shù)的結(jié)合,但這種觀點(diǎn)將智能計(jì)算的定義限制在人工智能領(lǐng)域內(nèi),同時(shí)忽略了人工智能固有的局限性以及人類、機(jī)器和事物之間三元互動(dòng)的重要作用。

另一個(gè)學(xué)派將智能計(jì)算(intelligent computing)視為計(jì)算智能(computational intelligence),模仿人類或生物智能來實(shí)現(xiàn)解決特定問題的最優(yōu)算法,并將智能計(jì)算主要視為一種算法創(chuàng)新。

在這篇論文中,研究人員從解決復(fù)雜的科學(xué)和社會(huì)問題的角度提出了智能計(jì)算的新定義,同時(shí)考慮到世界的三個(gè)基本空間,即人類社會(huì)空間、物理空間和信息空間的日益緊密融合。

Intelligent Computing 的定義

智能計(jì)算是指在支持世界互聯(lián)的數(shù)字文明時(shí)代,包含了新的計(jì)算理論方法、架構(gòu)系統(tǒng)和技術(shù)能力的領(lǐng)域。智能計(jì)算根據(jù)具體的實(shí)際需要,以最小的成本完成計(jì)算任務(wù),匹配足夠的計(jì)算能力,調(diào)用最好的算法,并能獲得最佳的結(jié)果。

智能計(jì)算的新定義是針對(duì)人類社會(huì)、物理世界和信息空間三者融合中快速增長(zhǎng)的計(jì)算需求而提出的。智能計(jì)算以人為本,追求高計(jì)算能力、高能效、高智能、高安全。

其目標(biāo)是提供普遍、高效、安全、自主、可靠和透明的計(jì)算服務(wù),以支持大規(guī)模復(fù)雜的計(jì)算任務(wù)。  圖 1 顯示了智能計(jì)算的總體理論框架,它體現(xiàn)了支持人類-物理-信息整合的各種計(jì)算范例。

首先,智能計(jì)算既不是現(xiàn)有計(jì)算機(jī)、云計(jì)算、邊緣計(jì)算以及其他計(jì)算技術(shù)(如神經(jīng)形態(tài)計(jì)算、光電計(jì)算和量子計(jì)算)的替代品,也并非是簡(jiǎn)單整合。相反,它是一種計(jì)算形式,通過根據(jù)任務(wù)要求系統(tǒng)地、全面地優(yōu)化現(xiàn)有的計(jì)算方法和資源來解決實(shí)際問題。

相比之下,現(xiàn)有的主要計(jì)算學(xué)科,如超級(jí)計(jì)算、云計(jì)算和邊緣計(jì)算,屬于不同的領(lǐng)域:超級(jí)計(jì)算旨在實(shí)現(xiàn)高計(jì)算能力,云計(jì)算強(qiáng)調(diào)跨平臺(tái) / 設(shè)備的便利,而邊緣計(jì)算則追求服務(wù)質(zhì)量和傳輸效率。

智能計(jì)算動(dòng)態(tài)地協(xié)調(diào)邊緣計(jì)算、云計(jì)算和超級(jí)計(jì)算領(lǐng)域之間的數(shù)據(jù)存儲(chǔ)、通信和計(jì)算,構(gòu)建了各種跨領(lǐng)域的智能計(jì)算系統(tǒng),支持端到端的云協(xié)作、云間協(xié)作和超級(jí)計(jì)算互聯(lián)。

智能計(jì)算應(yīng)當(dāng)充分利用現(xiàn)有的計(jì)算技術(shù),更重要的是促進(jìn)新的智能計(jì)算理論、架構(gòu)、算法和系統(tǒng)的形成。

其次,智能計(jì)算概念的提出是為了解決未來人類-物理-信息空間融合發(fā)展中的問題。

隨著大數(shù)據(jù)時(shí)代信息技術(shù)應(yīng)用的發(fā)展,物理空間、數(shù)字空間和人類社會(huì)之間的界限已經(jīng)變得越來越模糊。

人類世界已經(jīng)演變成一個(gè)新的空間,其特點(diǎn)是人類、機(jī)器和事物的緊密融合,社會(huì)系統(tǒng)、信息系統(tǒng)和物理環(huán)境構(gòu)成了一個(gè)動(dòng)態(tài)耦合的大系統(tǒng),在這個(gè)系統(tǒng)中,人、機(jī)器和事物以高度復(fù)雜的方式整合和互動(dòng),這促進(jìn)了未來新計(jì)算技術(shù)和應(yīng)用場(chǎng)景的發(fā)展和創(chuàng)新。

參考資料:

  • https://spj.science.org/doi/10.34133/icomputing.0006

本文來自微信公眾號(hào):新智元 (ID:AI_era)

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:人工智能,計(jì)算

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知