設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

圖靈獎得主 Bengio 最新長文:人類大腦是生物機器,一定會有超級智能 AI 超越它

量子位 2023/5/28 18:26:12 責編:夢澤

對不起 Dave,我恐怕并不會做這件事情。

這是 1968 年科幻電影《2001:太空漫游》中的經典場景,人工智能 HAL9000 拒絕了人類的請求,由此展開了殊死搏斗。

如今也成為深度學習巨頭、圖靈獎得主 Yoshua Bengio 最新博文的封面:危害人類的 AI 是如何出現的。

近幾個月來,強人工智能對話系統(tǒng)的興起,引發(fā)了各種 AI 風險的討論。

即便科學家們普遍認為,有必要對人工智能進行監(jiān)管,但對于「AI 系統(tǒng)是否會失控,進而對世界造成災難性損害」存在深刻的分歧。

事實上,這些災難會如何發(fā)生,存在諸多不確定性。于是 Bengio 團隊做了一系列的正式定義 Rogue AI、假設和主張,并討論了發(fā)生條件、可能情況以及規(guī)避策略。

一時間引發(fā)熱議,不少學界人士站出來推薦:

在不改變原意的基礎上,量子位聯(lián)合 ChatGPT 做了如下編譯。

Rogue AI 如何出現

定義 1:一個潛在的 Rogue AI,是一個自主的人工智能系統(tǒng),其行為方式可能會對大部分人類造成災難性傷害,可能會危及我們的社會,甚至我們的物種或生物圈 。

人類大腦是一種生物機器,我們在理解和展示人類智能多個方面的原理上取得很大進展,比如從實例中學習知識和熟練運用語言。雖然我也相信人們有能力設計出有用且安全的 AI 系統(tǒng),但必須遵守具體指導方針,比如限制他們的機構。

然而最新進展表明,超級智能 AI(全面比人類聰明)的建立離我們預期比以前更近,我們不清楚如何防止?jié)撛诘?Rogue AI 產生。

Rogue AI 是目標驅動的。當前大模型幾乎沒有自主能力,但正如 Auto-GPT 那樣可以轉化。更深入了解 Rogue AI 的產生方式,需要在技術和政策方面的努力。

AI 對齊問題(人類真實意圖與人工智能的理解和行為不匹配)以及社會競爭壓力將有利于更強大、更自主的 AI 系統(tǒng)的產生,不自覺間就增大了 Rogue AI 誕生的可能性。

假設 1:人類水平的智力是有限的,因為大腦是生物機器。

假設 2:一臺具有人類水平學習能力的計算機,通常會因為額外的技術優(yōu)勢而超過人類的智力。

如果假設 1 正確,那么會存在超級智能 AI 系統(tǒng)執(zhí)行人類無法完成的任務(或者能力和速度不在一個水平上),至少有以下方面的原因:

  • 一臺計算機的 AI 系統(tǒng)可以在任意數量計算機上進行自我復制、獲取經驗并聚合。

  • AI 已經能相當快速閱讀整個互聯(lián)網的內容。

此外,人類大腦還具有進化賦予的能力,當前一些相關的 AI 研究也正在進行。至于進化需要高能量消耗,這點在 AI 上已經實現。例如訓練目前最先進的大模型的一萬個 GPU 集群。

定義 2:一個自主的、目標導向的智能實體會設定并努力實現自己的目標(可能作為人類設定目標的子目標),并相應地采取行動。

需要注意的是,自主性可能產生于人類設定的目標和獎勵。當主要目標是生存和繁殖,那么它將是完全自主的,這是最危險的情況。

如果這些目標不嚴格包括人類和生物圈的福祉,即不足以與人類的權利和價值觀保持一致,那么這樣的系統(tǒng)就有可能成為潛在的 Rogue AI。

下面這些情況都將可能導致 Rogue AI 的出現:

  • 不懷好意的人類。

  • 構建 AI Agent 的意外后果。除非 AI 對齊研究取得進展,否則沒有強有力的安全保障。

  • 企業(yè)失控。企業(yè)可以被視作特殊的人工智能,其構建模塊是企業(yè)中的員工,他們大部分時間意識不到企業(yè)整體行為的后果。

  • 人類對創(chuàng)造類人實體的迷戀。正如科幻小說 / 電影中看到的,這些實體具有情感、人類外貌甚至意識。

我認為我們應該遠離那些外貌和行為都很像人類的 AI 系統(tǒng),因為他們可能會變成 Rogue AI。

  • AI Agents 之間進化壓力的意外結果。不同人類和組織爭相設計更強大的 AI 系統(tǒng),成千上萬的研究員給予 AI 指令,這種過程可能會激發(fā) AI 學習更快。

以上分析和 AI 安全研究能幫助我們設計政策、降低潛在風險。

比如前陣子“暫停開發(fā)比 GPT-4 更強的人工智能系統(tǒng)”的呼吁,就是個很好的開端。這需要國家監(jiān)督和國際協(xié)議,條約需要各國來共同達成。這類似于上世紀 50 年代關于禁止核武器條約。

為了保護公眾、社會和人類免受災難性后果,減緩高風險的人工智能研究和應用進展是值得的。

當然這也不會阻止一些有益研究,比如幫助科學家更好地理解疾病和氣候變化的人工智能系統(tǒng)。

不過資本主義競爭本質將可能導致 Rogue AI 行為,AI 經濟學家將會幫助我們設計出不依賴競爭、更關注利潤最大化的經濟體系,并提供足夠的激勵和懲罰機制。

Rogue AI 的風險是可怕的,但它也可能成為重新設計我們的社會,使之朝著更廣泛福祉的方向發(fā)展,比如解決醫(yī)療、教育資源不平等問題。

首先感謝 Hinton

值得一提的是,在這篇博文的最后,Bengio 還特意感謝了 Hinton,可是放在了第一位哦~

而就在此博文發(fā)布之際,LeCun 也淺評價了他倆:

他們都不是經濟學家,沒有研究技術進步對勞動力市場的影響。

嗯,而他自己卻經常與經濟學家交流。(手動狗頭)

感興趣的旁友,可戳下方鏈接學習學習:

https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/

本文來自微信公眾號:量子位 (ID:QbitAI),作者:關注前沿科技

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:人工智能

軟媒旗下網站: IT之家 最會買 - 返利返現優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知