對不起 Dave，我恐怕并不會做這件事情。
這是 1968 年科幻電影《2001：太空漫游》中的經典場景，人工智能 HAL9000 拒絕了人類的請求，由此展開了殊死搏斗。
如今也成為深度學習巨頭、圖靈獎得主 Yoshua Bengio 最新博文的封面：危害人類的 AI 是如何出現的。
近幾個月來，強人工智能對話系統(tǒng)的興起，引發(fā)了各種 AI 風險的討論。
即便科學家們普遍認為，有必要對人工智能進行監(jiān)管，但對于「AI 系統(tǒng)是否會失控，進而對世界造成災難性損害」存在深刻的分歧。
事實上，這些災難會如何發(fā)生，存在諸多不確定性。于是 Bengio 團隊做了一系列的正式定義 Rogue AI、假設和主張，并討論了發(fā)生條件、可能情況以及規(guī)避策略。
一時間引發(fā)熱議，不少學界人士站出來推薦：
在不改變原意的基礎上，量子位聯(lián)合 ChatGPT 做了如下編譯。
Rogue AI 如何出現
定義 1：一個潛在的 Rogue AI，是一個自主的人工智能系統(tǒng)，其行為方式可能會對大部分人類造成災難性傷害，可能會危及我們的社會，甚至我們的物種或生物圈 。
人類大腦是一種生物機器，我們在理解和展示人類智能多個方面的原理上取得很大進展，比如從實例中學習知識和熟練運用語言。雖然我也相信人們有能力設計出有用且安全的 AI 系統(tǒng)，但必須遵守具體指導方針，比如限制他們的機構。
然而最新進展表明，超級智能 AI（全面比人類聰明）的建立離我們預期比以前更近，我們不清楚如何防止?jié)撛诘?Rogue AI 產生。
Rogue AI 是目標驅動的。當前大模型幾乎沒有自主能力，但正如 Auto-GPT 那樣可以轉化。更深入了解 Rogue AI 的產生方式，需要在技術和政策方面的努力。
AI 對齊問題（人類真實意圖與人工智能的理解和行為不匹配）以及社會競爭壓力將有利于更強大、更自主的 AI 系統(tǒng)的產生，不自覺間就增大了 Rogue AI 誕生的可能性。
假設 1：人類水平的智力是有限的，因為大腦是生物機器。
假設 2：一臺具有人類水平學習能力的計算機，通常會因為額外的技術優(yōu)勢而超過人類的智力。
如果假設 1 正確，那么會存在超級智能 AI 系統(tǒng)執(zhí)行人類無法完成的任務（或者能力和速度不在一個水平上），至少有以下方面的原因：
一臺計算機的 AI 系統(tǒng)可以在任意數量計算機上進行自我復制、獲取經驗并聚合。
AI 已經能相當快速閱讀整個互聯(lián)網的內容。
此外，人類大腦還具有進化賦予的能力，當前一些相關的 AI 研究也正在進行。至于進化需要高能量消耗，這點在 AI 上已經實現。例如訓練目前最先進的大模型的一萬個 GPU 集群。
定義 2：一個自主的、目標導向的智能實體會設定并努力實現自己的目標（可能作為人類設定目標的子目標），并相應地采取行動。
需要注意的是，自主性可能產生于人類設定的目標和獎勵。當主要目標是生存和繁殖，那么它將是完全自主的，這是最危險的情況。
如果這些目標不嚴格包括人類和生物圈的福祉，即不足以與人類的權利和價值觀保持一致，那么這樣的系統(tǒng)就有可能成為潛在的 Rogue AI。
下面這些情況都將可能導致 Rogue AI 的出現：
不懷好意的人類。
構建 AI Agent 的意外后果。除非 AI 對齊研究取得進展，否則沒有強有力的安全保障。
企業(yè)失控。企業(yè)可以被視作特殊的人工智能，其構建模塊是企業(yè)中的員工，他們大部分時間意識不到企業(yè)整體行為的后果。
人類對創(chuàng)造類人實體的迷戀。正如科幻小說 / 電影中看到的，這些實體具有情感、人類外貌甚至意識。
我認為我們應該遠離那些外貌和行為都很像人類的 AI 系統(tǒng)，因為他們可能會變成 Rogue AI。
AI Agents 之間進化壓力的意外結果。不同人類和組織爭相設計更強大的 AI 系統(tǒng)，成千上萬的研究員給予 AI 指令，這種過程可能會激發(fā) AI 學習更快。
以上分析和 AI 安全研究能幫助我們設計政策、降低潛在風險。
比如前陣子“暫停開發(fā)比 GPT-4 更強的人工智能系統(tǒng)”的呼吁，就是個很好的開端。這需要國家監(jiān)督和國際協(xié)議，條約需要各國來共同達成。這類似于上世紀 50 年代關于禁止核武器條約。
為了保護公眾、社會和人類免受災難性后果，減緩高風險的人工智能研究和應用進展是值得的。
當然這也不會阻止一些有益研究，比如幫助科學家更好地理解疾病和氣候變化的人工智能系統(tǒng)。
不過資本主義競爭本質將可能導致 Rogue AI 行為，AI 經濟學家將會幫助我們設計出不依賴競爭、更關注利潤最大化的經濟體系，并提供足夠的激勵和懲罰機制。
Rogue AI 的風險是可怕的，但它也可能成為重新設計我們的社會，使之朝著更廣泛福祉的方向發(fā)展，比如解決醫(yī)療、教育資源不平等問題。
首先感謝 Hinton
值得一提的是，在這篇博文的最后，Bengio 還特意感謝了 Hinton，可是放在了第一位哦~
而就在此博文發(fā)布之際，LeCun 也淺評價了他倆：
他們都不是經濟學家，沒有研究技術進步對勞動力市場的影響。
嗯，而他自己卻經常與經濟學家交流。（手動狗頭）
感興趣的旁友，可戳下方鏈接學習學習：
https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
本文來自微信公眾號：量子位 （ID：QbitAI），作者：關注前沿科技
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。