OpenAI 離職潮中，又一研究員官宣離職，并且還發(fā)出了“警告”信息：
Ilya 和 Jan Leike 的擔(dān)憂正是我的擔(dān)憂，還有一些額外的問(wèn)題。
我們需要做更多事來(lái)改進(jìn)決策流程等基礎(chǔ)性的事務(wù)，包括問(wèn)責(zé)制、透明度、文檔、策略執(zhí)行、如何謹(jǐn)慎使用技術(shù)，以及減輕不平等、權(quán)利和環(huán)境影響的措施。
主人公名叫 Gretchen Krueger（簡(jiǎn)稱(chēng)格姐），是 OpenAI 的 AI 策略研究員。
她在 2019 年加入 OpenAI，參與過(guò) GPT-4 和 DALL?E 2 的開(kāi)發(fā)工作，還在 2020 年領(lǐng)導(dǎo)了 OpenAI 第一個(gè)全公司范圍的“紅隊(duì)”測(cè)試。
此番出走，除了提到 OpenAI 的決策透明度問(wèn)題，她還隱約暗示：
一般來(lái)說(shuō)，科技公司剝奪那些尋求追究其責(zé)任的人的權(quán)力的方法之一，就是在那些提出擔(dān)憂或挑戰(zhàn)其權(quán)力的人之間制造分裂。我非常關(guān)心防止這種情況發(fā)生。
算上 Ilya 和 Jan Leike，格姐已經(jīng)是這個(gè)月第 3 位從 OpenAI 離開(kāi)的安全相關(guān)人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認(rèn)離職之前。
本月第 3 位離職的 OpenAI 安全成員
先來(lái)簡(jiǎn)單回顧整個(gè)事情。
格姐是 OpenAI 的 AI 策略研究員，關(guān)于這個(gè)崗位的職責(zé)，有網(wǎng)友幫大家在評(píng)論區(qū)科普了。
由于感受到 OpenAI 存在巨大安全風(fēng)險(xiǎn)，格姐于 5 月 14 日通知公司自己即將離職。
在這之后，OpenAI 首席科學(xué)家 Ilya 正式宣布他將離開(kāi)公司去追求“下一個(gè)計(jì)劃”。
緊隨 Ilya 離職的，還有斥責(zé) OpenAI“產(chǎn)品優(yōu)先于安全”的超級(jí)對(duì)齊負(fù)責(zé)人 Jan Leike。
那么，到底是什么風(fēng)險(xiǎn)使得格姐早就想跑呢？
總結(jié)下來(lái)其實(shí)很簡(jiǎn)單，但也很關(guān)鍵：OpenAI 在安全問(wèn)題決策上不夠透明且缺乏對(duì)決策人的問(wèn)責(zé)。
（AI 透明度等）問(wèn)題對(duì)所有人都很重要，它們影響著未來(lái)如何被規(guī)劃、由誰(shuí)來(lái)規(guī)劃。
我想強(qiáng)調(diào)的是，這些擔(dān)憂不應(yīng)該被誤讀為狹隘、投機(jī)或脫節(jié)的。它們并非如此。
另外，格姐還特意提及了為了保留對(duì) OpenAI 的批評(píng)權(quán)、放棄 85% 家庭資產(chǎn)的 OpenAI 前員工 Daniel Kokotajio，表示感謝他的勇氣，使她有機(jī)會(huì)說(shuō)出想說(shuō)的。
此前，OpenAI 被曝離職需簽封口協(xié)議，“不簽字就會(huì)影響股權(quán)”。
這件事的最新進(jìn)展由格姐的另一位前同事 Jacob Hilton 曝出：
在 Vox 的深度調(diào)查發(fā)表之后，OpenAI 已經(jīng)聯(lián)系了前員工們，解除了此前簽署的保密協(xié)議。
回到安全的話題上，格姐還是給老東家保留了體面：
OpenAI 仍在領(lǐng)導(dǎo)這些重要的工作。我也將繼續(xù)對(duì)此保持關(guān)注和興奮。
不過(guò)格姐的出走，還是引發(fā)更多網(wǎng)友的好奇：
當(dāng) Ilya 等人還在的時(shí)候，OpenAI 如何決定重大安全問(wèn)題？
當(dāng)一批重要安全成員離開(kāi)后，OpenAI 當(dāng)前又如何決定安全問(wèn)題？
誰(shuí)決定 OpenAI 的安全路線？
在關(guān)注誰(shuí)握有最終決策權(quán)之前，我們先來(lái)看看 OpenAI 的安全團(tuán)隊(duì)有哪些。
從官網(wǎng)公布的信息來(lái)看，OpenAI 目前的安全團(tuán)隊(duì)主要分為三大塊。
超級(jí)對(duì)齊團(tuán)隊(duì)：拿出 20% 總算力，瞄準(zhǔn)如何控制還不存在的超級(jí)智能
Safety Systems 團(tuán)隊(duì)：專(zhuān)注于減少現(xiàn)有模型和產(chǎn)品（例如 ChatGPT）的濫用
Preparedness 團(tuán)隊(duì)：繪制前沿模型的新興風(fēng)險(xiǎn)
首先，作為核心的超級(jí)對(duì)齊團(tuán)隊(duì)由 Ilya 和 Jan Leike 在 2023 年 7 月發(fā)起。
結(jié)果不到 1 年，兩位靈魂人物接連出走，超級(jí)團(tuán)隊(duì)分崩離析。
其次，Safety Systems 成立于 2020 年，該團(tuán)隊(duì)下面有 4 個(gè)部門(mén)，包括安全工程團(tuán)隊(duì)、風(fēng)險(xiǎn)管理團(tuán)隊(duì)、監(jiān)控與響應(yīng)團(tuán)隊(duì)以及政策與合規(guī)團(tuán)隊(duì)。
它曾負(fù)責(zé)了 GPT-3 和 GPT-4 的安全性評(píng)估。
當(dāng)初領(lǐng)導(dǎo)它的 Dario Amodei，后來(lái)離開(kāi) OpenAI 創(chuàng)辦了 Anthropic。
而且 Dario Amodei 之所以離職，原因恰恰在于想建立一個(gè)更可信的模型。
最后，OpenAI 于 2023 年 10 月宣布建立 Preparedness 團(tuán)隊(duì)。
該小組由麻省理工可部署機(jī)器學(xué)習(xí)中心主任 Aleksander Madry 領(lǐng)導(dǎo)，旨在“跟蹤、預(yù)測(cè)和防范未來(lái)人工智能系統(tǒng)的危險(xiǎn)”，包括從 AI“說(shuō)服和欺騙”人類(lèi)的能力（如網(wǎng)絡(luò)釣魚(yú)攻擊），到惡意代碼生成能力。
目前該團(tuán)隊(duì)主要進(jìn)行模型能力評(píng)估、評(píng)價(jià)和內(nèi)部紅隊(duì)（即對(duì)模型進(jìn)行滲透測(cè)試的攻擊方）。
說(shuō)了這么多，但 ——
不管 OpenAI 有多少安全團(tuán)隊(duì)，其風(fēng)險(xiǎn)評(píng)估的最終決策權(quán)仍掌握在領(lǐng)導(dǎo)層手中。
宮斗風(fēng)波之前，OpenAI 核心管理團(tuán)隊(duì)中共有四名成員：CEO Sam Altman、總裁 Greg Brockman、首席科學(xué)家 Ilya Sutskever、CTO Mira Murati。
雖然一開(kāi)始 Ilya 發(fā)動(dòng)“宮變”讓 Sam Altman 短暫下臺(tái)，但很快奧特曼“熹妃回宮”，反而是 Ilya“消失”了 6 個(gè)月。
且回歸后的 Sam Altman 身邊基本都是自己人了，包括最新頂替 Ilya 的 Jakub。
不過(guò)關(guān)于安全問(wèn)題的決策權(quán)，雖然領(lǐng)導(dǎo)層是決策者，但董事會(huì)擁有推翻決策的權(quán)利。
目前 OpenAI 的董事會(huì)成員包括，Salesforce 共同首席執(zhí)行官、董事會(huì)主席 Bret Taylor，經(jīng)濟(jì)學(xué)家 Larry Summers、Quora 首席執(zhí)行官 Adam D’Angelo、前比爾及梅琳達(dá)?蓋茨基金會(huì) CEO Sue Desmond-Hellmann、前索尼娛樂(lè)總裁 Nicole Seligman、Instacart 首席執(zhí)行官 Fidji Simo 以及奧特曼本人。
參考鏈接：
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文來(lái)自微信公眾號(hào)：量子位 （ID：QbitAI），作者：一水
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。