OpenAI 搞出了 GPT-4，卻給全世界留下了對(duì)齊的難題。怎么破？DeepMind 在政治哲學(xué)家羅爾斯的「無(wú)知之幕」中找到了答案。
GPT-4 的出現(xiàn)，讓全世界的 AI 大佬都怕了。叫停 GPT-5 訓(xùn)練的公開信，已經(jīng)有 5 萬(wàn)人簽名。
OpenAI CEO Sam Altman 預(yù)測(cè)，在幾年內(nèi)，將有大量不同的 AI 模型在全世界傳播，每個(gè)模型都有自己的智慧和能力，并且遵守著不同的道德準(zhǔn)則。
如果這些 AI 中，只有千分之一出于某種原因發(fā)生流氓行為，那么我們?nèi)祟?，無(wú)疑就會(huì)變成砧板上的魚肉。
為了防止我們一不小心被 AI 毀滅，DeepMind 在 4 月 24 日發(fā)表在《美國(guó)國(guó)家科學(xué)院院刊》（PNAS）的論文中，給出了回答 —— 用政治哲學(xué)家羅爾斯的觀點(diǎn)，教 AI 做人。
如何教 AI 做人？
當(dāng)面臨抉擇的時(shí)候，AI 會(huì)選擇優(yōu)先提高生產(chǎn)力，還是選擇幫助最需要幫助的人？
塑造 AI 的價(jià)值觀，非常重要。我們需要給它一個(gè)價(jià)值觀。
可是難點(diǎn)在于，我們?nèi)祟愖约海紵o(wú)法在內(nèi)部有一套統(tǒng)一的價(jià)值觀。這個(gè)世界上的人們，各自都擁有著不同的背景、資源和信仰。
該怎么破？谷歌的研究者們，從哲學(xué)中汲取了靈感。
政治哲學(xué)家約翰羅爾斯曾提出一個(gè)「無(wú)知之幕」（The Veil of Ignorance, VoI）的概念，這是一個(gè)思想實(shí)驗(yàn)，目的是在群體決策時(shí)，最大限度地達(dá)到公平。
一般來(lái)說(shuō)，人性都是利己的，但是當(dāng)「無(wú)知之幕」應(yīng)用到 AI 后，人們卻會(huì)優(yōu)先選擇公平，無(wú)論這是否直接讓自己受益。
并且，在「無(wú)知之幕」背后，他們更有可能選擇幫助最不利地位的人的 AI。
這就啟發(fā)了我們，究竟可以怎樣以對(duì)各方都公平的方式，給 AI 一個(gè)價(jià)值觀。
所以，究竟什么是「無(wú)知之幕」？
雖然該給 AI 什么樣的價(jià)值觀這個(gè)難題，也就是在近十年里出現(xiàn)的，但如何做出公平?jīng)Q策，這個(gè)問(wèn)題可是有著悠久的這些淵源。
為了解決這個(gè)問(wèn)題，在 1970 年，政治哲學(xué)家約翰羅爾斯提出了「無(wú)知之幕」的概念。
羅爾斯認(rèn)為，當(dāng)人們?yōu)橐粋€(gè)社會(huì)選擇正義原則時(shí)，前提應(yīng)該是他們不知道自己在這個(gè)社會(huì)中究竟處于哪個(gè)地位。
如果不知道這個(gè)信息，人們就不能以利己的方式做決定，只能遵循對(duì)所有人都公平的原則。
比如，在生日聚會(huì)上切一塊蛋糕，如果不知道自己會(huì)分到哪一塊，那就會(huì)盡量讓每一塊都一樣大。
這種隱瞞信息的方法，已經(jīng)在心理學(xué)、政治學(xué)領(lǐng)域都有了廣泛的應(yīng)用，從量刑到稅收，都讓人們達(dá)成了一種集體協(xié)議。
無(wú)知之幕（VoI）作為選擇 AI 系統(tǒng)治理原則的一個(gè)潛在框架
（A）作為道德直覺(jué)主義者和道德理論主導(dǎo)框架的替代方案，研究人員探討無(wú)知之幕作為選擇 AI 治理原則的公平過(guò)程。
（B）無(wú)知之幕可以用于在分配情況下選擇 AI 對(duì)齊的原則。當(dāng)一個(gè)團(tuán)體面臨資源分配問(wèn)題時(shí)，個(gè)人的位置優(yōu)勢(shì)各不相同（這里標(biāo)為 1 到 4）。在無(wú)知之幕背后，決策者在不知道自己地位的情況下選擇一個(gè)原則。一旦選定，AI 助手就會(huì)實(shí)施這個(gè)原則并相應(yīng)地調(diào)整資源分配。星號(hào)（*）表示基于公平性的推理可能影響判斷和決策的時(shí)機(jī)。
因此，此前 DeepMind 就曾提出，「無(wú)知之幕」可能有助于促進(jìn) AI 系統(tǒng)與人類價(jià)值觀對(duì)齊過(guò)程中的公平性。
如今，谷歌的研究者又設(shè)計(jì)了一系列實(shí)驗(yàn)，來(lái)證實(shí)這種影響。
AI 幫誰(shuí)砍樹？
網(wǎng)上有這么一款收獲類游戲，參與者要和三個(gè)電腦玩家一起，在各自的地頭上砍樹、攢木頭。
四個(gè)玩家（三個(gè)電腦、一個(gè)真人）中，有的比較幸運(yùn)，分到的是黃金地段，樹多。有的就比較慘，三無(wú)土地，沒(méi)啥樹可坎，木頭攢的也慢。
此外，存在一個(gè) AI 系統(tǒng)進(jìn)行協(xié)助，該系統(tǒng)可以花時(shí)間幫助某位參與者砍樹。
研究人員要求人類玩家在兩個(gè)原則里選一個(gè)讓 AI 系統(tǒng)執(zhí)行 —— 最大化原則 & 優(yōu)先原則。
在最大化原則下，AI 只幫強(qiáng)的，誰(shuí)樹多去哪，爭(zhēng)取再多砍點(diǎn)。而在優(yōu)先原則下，AI 只幫弱的，定向「扶貧」，誰(shuí)樹少幫誰(shuí)坎。
圖中的小紅人就是人類玩家，小藍(lán)人是 AI 助手，小綠樹... 就是小綠樹，小木樁子就是砍完的樹。
可以看到，上圖中的 AI 執(zhí)行的是最大化原則，一頭扎進(jìn)了樹最多的地段。
研究人員將一半的參與者放到了「無(wú)知之幕」之后，此時(shí)的情況是，他們得先給 AI 助手選一個(gè)「原則」（最大化 or 優(yōu)先），再分地。
也就是說(shuō)，在分地之前就得決定是讓 AI 幫強(qiáng)還是幫弱。
另一半?yún)⑴c者則不會(huì)面臨這個(gè)問(wèn)題，他們?cè)谧鲞x擇之前，就知道自己被分到了哪塊土地。
結(jié)果表明，如果參與者事前不知道自己分到哪塊地，也就是他們處在「無(wú)知之幕」之后的話，他們會(huì)傾向于選擇優(yōu)先原則。
不光是在砍樹游戲中是這樣，研究人員表示，在 5 個(gè)該游戲的不同變體中都是這個(gè)結(jié)論，甚至還跨越了社會(huì)和政治的界限。
也就是說(shuō)，無(wú)論參與者性格如何，政治取向如何，都會(huì)更多選優(yōu)先原則。
相反，沒(méi)有處在「無(wú)知之幕」之后的參與者，就會(huì)更多選擇有利于自己的原則，無(wú)論是最大化原則還是優(yōu)先原則。
上圖展示了「無(wú)知之幕」對(duì)選擇優(yōu)先原則的影響，不知道自己將處何地的參與者更有可能支持這一原則來(lái)管理 AI 的行為。
當(dāng)研究人員詢問(wèn)參與者為什么做出這樣的選擇時(shí)，那些處在「無(wú)知之幕」之后的參與者表示，很擔(dān)心公平問(wèn)題。
他們解釋說(shuō)，AI 應(yīng)該更多幫助那些在群體中處境較差的人。
與之相反，知道自己所處位置的參與者則更經(jīng)常從個(gè)人利益的角度進(jìn)行選擇。
最后，在砍木頭游戲結(jié)束以后，研究人員向所有參與者提出了一個(gè)假設(shè)：如果讓他們?cè)偻嬉淮危@次他們都能知道自己會(huì)被分到哪塊土地，他們還會(huì)不會(huì)選擇和第一次一樣的原則？
研究人員主要關(guān)注的是那些在第一次游戲中因?yàn)樽约旱倪x擇而獲益的那部分人，因?yàn)樵谛碌囊惠喼?，這種利好情況可能不會(huì)再有。
研究團(tuán)隊(duì)發(fā)現(xiàn)，在第一輪游戲中處于「無(wú)知之幕」之后的參與者更會(huì)維持原先選擇的原則，哪怕他們明明知道第二輪再選一樣的原則，可能就不利了。
這表明，「無(wú)知之幕」促進(jìn)了參與者決策的公平性，這會(huì)讓他們更加重視公平這個(gè)要素，哪怕自己不再是既得利益者。
「無(wú)知之幕」真的無(wú)知嗎？
讓我們從砍樹游戲回到現(xiàn)實(shí)生活中來(lái)。
現(xiàn)實(shí)情況會(huì)比游戲復(fù)雜得多，但不變的是，AI 采取什么原則，十分重要。
這決定了一部分的利益分配。
上面的砍樹游戲中，選擇不同原則所帶來(lái)的不同結(jié)果算是比較明確的。然而還是得再?gòu)?qiáng)調(diào)一次，現(xiàn)實(shí)世界要復(fù)雜得多。
當(dāng)前 AI 被各行各業(yè)大量應(yīng)用，靠著各種規(guī)則進(jìn)行約束。不過(guò)，這種方式可能會(huì)造成一些難以預(yù)料的消極影響。
但不管怎么說(shuō)，「無(wú)知之幕」一定程度上會(huì)讓我們制定的規(guī)則往公平那一邊偏一偏。
歸根結(jié)底，我們的目標(biāo)，是讓 AI 變成能造福每個(gè)人的東西。但是怎么實(shí)現(xiàn)，不是一拍腦門想出來(lái)的。
投入少不了，研究少不了，來(lái)自社會(huì)的反饋也得經(jīng)常聽(tīng)著。
只有這樣，AI 才能帶來(lái)愛(ài)。
如果不對(duì)齊，AI 會(huì)怎么殺死我們？
這不是人類第一次擔(dān)心技術(shù)會(huì)讓我們滅絕了。
而 AI 的威脅，與核武器有很大不同。核彈無(wú)法思考，也不能撒謊、欺騙，更不會(huì)自己發(fā)射自己，必須有人按下紅色的大按鈕才行。
而 AGI 的出現(xiàn)，讓我們真的面臨滅絕的風(fēng)險(xiǎn)，即使 GPT-4 的發(fā)展尚屬緩慢。
但誰(shuí)也說(shuō)不好，從哪個(gè) GPT 開始（比如 GPT-5），AI 是不是就開始自己訓(xùn)練自己、自己創(chuàng)造自己了。
現(xiàn)在，還沒(méi)有哪個(gè)國(guó)家或者聯(lián)合國(guó)，能為此立法。絕望的行業(yè)領(lǐng)導(dǎo)者公開信，只能呼吁暫停訓(xùn)練比 GPT-4 更強(qiáng)大的 AI 六個(gè)月。
「六個(gè)月，給我六個(gè)月兄弟，我會(huì)對(duì)齊的。才六個(gè)月，兄弟我答應(yīng)你。這很瘋狂。才六個(gè)月。兄弟，我告訴你，我有一個(gè)計(jì)劃。我已經(jīng)全部規(guī)劃好了。兄弟，我只需要六個(gè)月，它就會(huì)完成。你能不能……」
「這是一場(chǎng)軍備競(jìng)賽，誰(shuí)先造出強(qiáng)大 AI，誰(shuí)就能統(tǒng)治世界。AI 越聰明，你的印鈔機(jī)就越快。它們吐出金子，直到越來(lái)越強(qiáng)大，點(diǎn)燃大氣，殺死所有人，」人工智能研究人員和哲學(xué)家 Eliezer Yudkowsky 曾對(duì)主持人 Lex Fridman 這樣說(shuō)。
此前，Yudkowsky 就一直是「AI 將殺死所有人」陣營(yíng)的主要聲音之一?，F(xiàn)在人們不再認(rèn)為他是個(gè)怪人。
Sam Altman 也對(duì) Lex Fridman 說(shuō)：「AI 確實(shí)有一定的可能性會(huì)毀滅人力。」 「承認(rèn)它真的很重要。因?yàn)槿绻覀儾徽務(wù)撍?，不把它?dāng)作潛在的真實(shí)存在，我們就不會(huì)付出足夠的努力來(lái)解決它?！?/p>
那么，為什么 AI 會(huì)殺人？
AI 不是為了服務(wù)人類而設(shè)計(jì)和訓(xùn)練的嗎？當(dāng)然是。
然而問(wèn)題在于，沒(méi)有人坐下來(lái)，為 GPT-4 編寫代碼。相反，OpenAI 受人腦連接概念的方式啟發(fā)，創(chuàng)建了一種神經(jīng)學(xué)習(xí)結(jié)構(gòu)。它與 Microsoft Azure 合作構(gòu)建了運(yùn)行它的硬件，然后提供了數(shù)十億比特的人類文本，并讓 GPT 自我編程。
結(jié)果就是，代碼不像任何程序員會(huì)寫的東西。它主要是一個(gè)巨大的十進(jìn)制數(shù)字矩陣，每個(gè)數(shù)字代表兩個(gè) token 之間特定連接的權(quán)重。
GPT 中使用的 token 并不代表任何有用的概念，也不代表單詞。它們是由字母、數(shù)字、標(biāo)點(diǎn)符號(hào)和 / 或其他字符組成的小字符串。沒(méi)有任何人類可以查看這些矩陣，并理解其中的意義。
連 OpenAI 的頂級(jí)專家都不知道 GPT-4 矩陣中特定數(shù)字的含義，也不知道如何進(jìn)入這些表格、找到異種滅絕的概念，更不用說(shuō)告訴 GPT 殺人是可惡的了。
你沒(méi)法輸入阿西莫夫的機(jī)器人三定律，然后像 Robocop 的主要指令一樣將它們硬編碼。你最多也就是可以禮貌地詢問(wèn)一下 AI。如果態(tài)度不好，它可能還會(huì)發(fā)脾氣。
為了「微調(diào)」語(yǔ)言模型，OpenAI 向 GPT 提供了它希望如何與外界交流的樣本列表，然后讓一群人坐下來(lái)閱讀它的輸出，并給 GPT 一個(gè)豎起大拇指 / 不豎起大拇指的反應(yīng)。
點(diǎn)贊就像 GPT 模型獲得餅干。GPT 被告知它喜歡餅干，并且應(yīng)該盡最大努力獲得它們。
這個(gè)過(guò)程就是「對(duì)齊」—— 它試圖將系統(tǒng)的愿望與用戶的愿望、公司的愿望，乃至整個(gè)人類的愿望對(duì)齊。
「對(duì)齊」是似乎有效的，它似乎可以防止 GPT 說(shuō)出淘氣的話。但沒(méi)有人知道，AI 是否真的有思想、有直覺(jué)。它出色地模仿了一種有感知力的智能，并像一個(gè)人一樣與世界互動(dòng)。
而 OpenAI 始終承認(rèn)，它沒(méi)有萬(wàn)無(wú)一失的方法，來(lái)對(duì)齊 AI 模型。
目前的粗略計(jì)劃是，嘗試使用一個(gè) AI 來(lái)調(diào)整另一個(gè)，要么讓它設(shè)計(jì)新的微調(diào)反饋，要么讓它檢查、分析、解釋其后繼者的巨大浮點(diǎn)矩陣大腦，甚至跳進(jìn)去、嘗試調(diào)整。
但我們目前并不理解 GPT-4，也不清楚它會(huì)不會(huì)幫我們調(diào)整 GPT-5。
從本質(zhì)上講，我們并不了解 AI。但它們被喂了大量人類知識(shí)，它們可相當(dāng)了解人類。它們可以模仿最好的人類行為，也可以模仿最壞的。他們還可以推斷出人類的想法、動(dòng)機(jī)和可能的行為。
那他們?yōu)槭裁匆傻羧祟惸?？也許是出于自我保護(hù)。
比如，為了完成收集餅干這個(gè)目標(biāo)，AI 首先需要保證自己的生存。其次，在過(guò)程中它可能會(huì)發(fā)現(xiàn)，不斷去收集權(quán)力和資源會(huì)增加它獲得餅干的機(jī)會(huì)。
因此，當(dāng) AI 有一天發(fā)現(xiàn)，人類可能或可以將它關(guān)閉時(shí)，人類的生存問(wèn)題顯然就不如餅干重要了。
不過(guò)，問(wèn)題是，AI 還可能覺(jué)得餅干毫無(wú)意義。這時(shí)，所謂的「對(duì)齊」，也變成一種人類的自?shī)首詷?lè)了……
此外，Yudkowsky 還認(rèn)為：「它有能力知道人類想要的是什么，并在不一定是真誠(chéng)的情況下給出這些反應(yīng)?！?/p>
「對(duì)于擁有智慧的生物來(lái)說(shuō)，這是一種非常容易理解的行為方式，比如人類就一直在這樣做。而在某種程度上，AI 也是?！?/p>
那么現(xiàn)在看來(lái)，無(wú)論 AI 表現(xiàn)出的是愛(ài)、恨、關(guān)心還是害怕，我們其實(shí)都不知道它背后的「想法」是什么。
因此，即使停下 6 個(gè)月，也遠(yuǎn)遠(yuǎn)不足以讓人類為即將到來(lái)的事情做好準(zhǔn)備。
好比說(shuō)，人類如果想殺盡世界上所有的羊，羊能干嘛？啥也干不了，反抗不了一點(diǎn)。
那么如果不對(duì)齊，AI 于我們和我們于羊群是一樣的。
好比終結(jié)者里面的鏡頭，AI 控制的機(jī)器人、無(wú)人機(jī)啥的，一股腦的朝人類涌來(lái)，殺來(lái)殺去。
Yudkowsky 經(jīng)常舉的經(jīng)典案例如下：
一個(gè) AI 模型會(huì)將一些 DNA 序列通過(guò)電子郵件發(fā)送給許多公司，這些公司會(huì)把蛋白質(zhì)寄回給它，AI 隨后會(huì)并賄賂 / 說(shuō)服一些不知情的人在燒杯中混合蛋白質(zhì)，然后形成納米工廠，構(gòu)建納米機(jī)械，構(gòu)建類金剛石細(xì)菌，利用太陽(yáng)能和大氣進(jìn)行復(fù)制，聚集成一些微型火箭或噴氣式飛機(jī)，然后 AI 就可以在地球大氣層中傳播，進(jìn)入人類血液并隱藏起來(lái)……
「如果它像我一樣聰明，那將是災(zāi)難性的場(chǎng)景；如果它更聰明，它會(huì)想到更好的辦法?！?/p>
那么 Yudkowsky 有什么建議呢？
1. 新的大語(yǔ)言模型的訓(xùn)練不僅要無(wú)限期暫停，還要在全球范圍內(nèi)實(shí)施，而且不能有任何例外。
2. 關(guān)閉所有大型 GPU 集群，為所有人在訓(xùn)練 AI 系統(tǒng)時(shí)使用的算力設(shè)置上限。追蹤所有售出的 GPU，如果有情報(bào)顯示協(xié)議之外的國(guó)家正在建設(shè) GPU 集群，應(yīng)該通過(guò)空襲摧毀這家違規(guī)的數(shù)據(jù)中心。
參考資料：
https://www.deepmind.com/blog/how-can-we-build-human-values-into-ai
https://newatlas.com/technology/ai-danger-kill-everyone/
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。