設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

圖靈獎得主 LeCun:ChatGPT 局限巨大,自回歸模型壽命不超 5 年

新智元 2023/4/26 12:16:02 責(zé)編:夢澤

圖靈獎得主 Yann LeCun 暢談 AI:未來是開源。

今年上半年,可謂是 AI 屆最波瀾壯闊的半年。

在急速發(fā)展的各類 GPT 甚至 AGI 的雛形背后,是持不同觀點(diǎn)的兩大陣營的人們。

一派認(rèn)為,以 ChatGPT 為首的生成式 AI 非常強(qiáng)大,能帶動一大波革命性的風(fēng)潮,繼續(xù)推進(jìn)沒有問題。

另一派認(rèn)為,咱發(fā)展的有點(diǎn)太快了。不說禁止,也得停一停。而且道德方面,相匹配的約束也太少了。

而作為 AI 屆的一位大拿,Yann LeCun 對此卻有不同看法。

徹底禁止?不可行

LeCun 表示,他對 ChatGPT 的表現(xiàn)并不感到驚訝,也不贊成暫停人工智能的研究。

「這可能會產(chǎn)生和預(yù)期相反的結(jié)果?!?/p>

他表示,人工智能作為人類智能的放大器,可能是新文藝復(fù)興的起源。

ChatGPT 這種大語言模型是「自回歸」。AI 接受訓(xùn)練,從一個包含多達(dá) 14000 億個單詞的語料庫中提取單詞,預(yù)測給定句子序列中的最后一個單詞,也就是下一個必須出現(xiàn)的單詞。

Claude Shannon 在上個世紀(jì) 50 年代開展的相關(guān)研究就是基于這一原則。

原則沒變,變得是語料庫的規(guī)模,以及模型本身的計算能力。

LeCun 表示,「目前,我們無法靠這類模型生成長而連貫的文本,這些系統(tǒng)不是可控的。比如說,我們不能直接要求 ChatGPT 生成一段目標(biāo)人群是 13 歲兒童的文本。

其次,ChatGPT 生成的文本作為信息來源并不是 100% 可靠的。GPT 的功能更像是一種輔助工具。就好比現(xiàn)有的駕駛輔助系統(tǒng)一樣,開著自動駕駛功能,也得把著方向盤。

而且,我們今天所熟知的自回歸語言模型的壽命都非常短,五年算是一個周期,五年以后,過去的模型就沒有人再會用了。

而我們的研究重點(diǎn),就應(yīng)該集中在找到一種是這些模型可控的辦法上。換句話說,我們要研究的 AI,是能根據(jù)給定目標(biāo)進(jìn)行推理和計劃的 AI,并且得能保證其安全性和可靠性的標(biāo)準(zhǔn)是一致的。這種 AI 能感受到情緒?!?/p>

要知道,人類情緒的很大一部分和目標(biāo)的實(shí)現(xiàn)與否有關(guān),也就是和某種形式的預(yù)期有關(guān)。

而有了這樣的可控模型,我們就能生成出長而連貫的文本。

LeCun 的想法是,未來設(shè)計出能混合來自不同工具的數(shù)據(jù)的增強(qiáng)版模型,比如計算器或者搜索引擎。

像 ChatGPT 這樣的模型只接受文本訓(xùn)練,因此 ChatGPT 對現(xiàn)實(shí)世界的認(rèn)識并不完整。而想要在此基礎(chǔ)上進(jìn)一步發(fā)展,就需要學(xué)習(xí)一些和整個世界的感官知覺、世界結(jié)構(gòu)有關(guān)的內(nèi)容。

而這些更復(fù)雜的內(nèi)容并不是簡單地通過閱讀文本就能實(shí)現(xiàn)的,這才是未來幾年的最大挑戰(zhàn)之一。

開源才是盡頭

對權(quán)力的渴望,是人類特有的。而 AI 并不會因?yàn)樽兊迷絹碓綇?qiáng)大就會具備這種渴望。

只有人類這個物種才知道如何制定法律,保障個體的行為不會過多損害共同利益。

OpenAI 最初是一個開放的研究項目,現(xiàn)在已經(jīng)關(guān)閉了。而 OpenAI 對其工作只字未提,這種情況的逆轉(zhuǎn)在研究領(lǐng)域并不常見。

問題在于訓(xùn)練一個語言模型很昂貴,要花費(fèi)幾千萬歐元,所以初創(chuàng)企業(yè)負(fù)擔(dān)不起。

這也是微軟與 OpenAI 合并的主要原因,需要集團(tuán)共同的計算能力來改進(jìn)其未來的模型。這也是為什么 DeepMind 和谷歌大腦最終還是合并了。

LeCun 表示,最終在市場方面,開發(fā)者會走向一個開放平臺的共同生態(tài)。如果只有少部分公司控制著這類技術(shù),就糟糕了。

從歷史上來看,不管是 Facebook 還是改完名的 Meta,都在積極推動開放性的基礎(chǔ)研究,比如 LlaMa 這個開源項目。

90 年代初期,Sun Microsystems 和 Microsoft 大打出手,爭奪操作服務(wù)器的權(quán)力。要記住,所有能一直站穩(wěn)腳跟的互聯(lián)網(wǎng)技術(shù)都是開源的。

LeCun 最后表示,目前,阻止這類開放的開源 AI 平臺的關(guān)鍵,是法律上的問題。如果未來歐盟想要推動 AI 產(chǎn)業(yè)的結(jié)構(gòu)化,那么這種類似的開源平臺是必不可少的。

參考資料:

  • https://twitter.com/USBEKetRICA/status/1648597311843450881

本文來自微信公眾號:新智元 (ID:AI_era)

廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:人工智能ChatGPT

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會買 要知