6 年元老為何加入離職大軍？AGI 的未來，我們到底需要面對什么？OpenAI 前高級(jí)顧問 Miles Brundage 最近發(fā)表長文，細(xì)述了自己的思考和感受。
OpenAI 的「員工叛逃」還沒有結(jié)束。
近日，OpenAI 又有一位 6 年元老、研究主管 Miles Brundage 發(fā)表長文官宣離職，并詳細(xì)解釋了自己為何「出走」。
作為一家年輕的 AI 獨(dú)角獸，成立于 2015 年的 OpenAI 如今剛剛 9 歲，因此在公司待了 6 年之久的 Brundage 足以被稱為「元老」，見證了 OpenAI 如何一路起伏、篳路藍(lán)縷地走到今天。
在博文中，Brundage 也在開頭強(qiáng)調(diào)：為 OpenAI 的高管和董事會(huì)提供建議，為 AGI 的到來做準(zhǔn)備，這實(shí)際上是他夢想中的工作；甚至就在 2015 年 OpenAI 剛成立時(shí)，Brundage 興奮得一夜不睡，寫下一篇博文強(qiáng)調(diào)這個(gè)組織的重要性。
原文地址：https://www.milesbrundage.com/blog-posts/archives/12-2015
因此，離開 OpenAI 對他來說并不是一個(gè)容易的決定。但是為了有更多時(shí)間研究自己認(rèn)為重要的課題，更獨(dú)立、自由地發(fā)表觀點(diǎn)和作品，Brundage 決定轉(zhuǎn)而加入（甚至自己創(chuàng)辦）非營利組織，將重點(diǎn)放在 AI 政策研究和倡導(dǎo)上。
Miles Brundage 本科畢業(yè)于喬治華盛頓大學(xué)，本科期間擔(dān)任過美國能源部的特別助理，之后前往亞利桑那州立大學(xué)攻讀博士，研究方向?yàn)榭萍嫉娜祟惡蜕鐣?huì)維度，博士后期間曾在牛津大學(xué)擔(dān)任 AI 政策研究員。
2018 年，Miles Brundage 加入了剛剛成立 3 年的 OpenAI 擔(dān)任政策方面的研究科學(xué)家，之后又在 2021 年升任研究主管，目前是 AGI 準(zhǔn)備工作的高級(jí)顧問。
為何離開 OpenAI
總體來看，Brundage 的離職是希望從行業(yè)外部而非內(nèi)部影響 AI 的發(fā)展，這與今年 Geoffrey Hinton 離開谷歌的原因如出一轍，具體有如下幾個(gè)考慮因素：
機(jī)會(huì)成本
本職工作已經(jīng)占去了幾乎全部的時(shí)間，因此 Brandage 感覺很難從事自己認(rèn)為重要的研究課題。甚至在某些情況下，身處行業(yè)之外時(shí)，從事這些研究能更有影響力和說服力。
而且，OpenAI 目前已經(jīng)如此引人注目，成果發(fā)布前就需要從許多不同的角度進(jìn)行審查，以至于無法發(fā)表某些主題的文章。
但值得注意的是，Brundage 并不是完全反對 OpenAI 在出版物審查方面的立場，他認(rèn)為行業(yè)中存在出版限制是合理的，他本人也幫助編寫了 OpenAI 政策的幾個(gè)迭代版本，但公司目前施加的限制確實(shí)已經(jīng)太多了。
減少偏見
如果選擇成為某個(gè)組織的一部分，并且每天都和那里的同事們密切合作，你就很難對這個(gè)組織保持公正。
Brundage 表示，他在分析中盡力追求公正，但仍然會(huì)有偏見的存在。而且在 OpenAI 工作這件事本身，就會(huì)影響到外界如何看待自己的觀點(diǎn)和研究?？紤]到財(cái)務(wù)利益上的沖突，人們有理由質(zhì)疑來自行業(yè)的政策想法。
在有關(guān)政策的對話中，有更多獨(dú)立于行業(yè)的聲音至關(guān)重要，而 Brundage 計(jì)劃成為其中之一。
在 OpenAI，能做的都做了
從入職至今，Brundage 認(rèn)為自己作為「AGI 準(zhǔn)備狀態(tài)高級(jí)顧問」的工作已經(jīng)完成了大部分。
「AGI 準(zhǔn)備狀態(tài)」（AGI Readiness）主要分為兩種：一是 OpenAI 要準(zhǔn)備好管理日益強(qiáng)大的 AI 能力，二是整個(gè)世界也要準(zhǔn)備好有效管理 AI 能力，包括通過監(jiān)管 OpenAI 和其他公司。
對于前者，Brundage 已經(jīng)向他的負(fù)責(zé)對象 ——OpenAI 的高管和董事會(huì) —— 詳細(xì)介紹了他認(rèn)為 OpenAI 需要做什么，以及差距在哪里；而對于后者，他認(rèn)為自己在 OpenAI 外部能夠更加有效。
雖然失去了一些在 OpenAI 發(fā)揮影響力的機(jī)會(huì)，但 Brandage 希望在更大程度上影響整個(gè)生態(tài)系統(tǒng)。
AGI，我們都沒準(zhǔn)備好
Brundage 認(rèn)為，對于即將到來的 AGI，OpenAI 或任何其他的前沿實(shí)驗(yàn)室都還沒有準(zhǔn)備好，這個(gè)世界也還沒有準(zhǔn)備好。
原文地址：https://medium.com/@miles_24227/scoring-humanitys-progress-on-ai-governance-5a5131cb84c7
但需要明確的是，他不認(rèn)為這種「沒準(zhǔn)備好」的狀態(tài)與 OpenAI 領(lǐng)導(dǎo)層的聲明相沖突；同時(shí)他也暗示，雖然距離理想的標(biāo)準(zhǔn)存在相當(dāng)?shù)牟罹?，但是我們?nèi)钥梢栽谙嚓P(guān)時(shí)間點(diǎn)步入正軌，為此 Brundage 將在余下的職業(yè)生涯中致力于人工智能政策。
科技公司和這個(gè)世界是否走上了 AGI 準(zhǔn)備的正軌，是一個(gè)復(fù)雜的函數(shù)，取決于安全和保障方面的文化如何隨著時(shí)間的推移而發(fā)揮作用、監(jiān)管如何影響組織的激勵(lì)措施、各種有關(guān) AI 能力和安全方面困難的事實(shí)，以及各種其他因素。
此處，Brundage 特別表揚(yáng)了 OpenAI 最近新增加董事會(huì)成員的決定，新吸納的成員包括前陸軍上將 Paul M. Nakasone 和 CMU 機(jī)器學(xué)習(xí)系主任 Zico Kolter，這都是朝著正確方向邁出的一步。
順便一提，Brundage 表示，「AGI」這個(gè)術(shù)語承載了太多意義，它現(xiàn)在更多地暗示著一種二元思維方式，而不是實(shí)際意義，因此有必要澄清一下，此處的「為 AGI 做好準(zhǔn)備」，指「準(zhǔn)備好安全、可靠且有益地開發(fā)、部署和管理能力日益強(qiáng)大的 AI 系統(tǒng)」。
最近，他和團(tuán)隊(duì)正在充實(shí) OpenAI 提出的 AGI 五級(jí)框架，不久后或許會(huì)發(fā)表一篇正式的論文。這個(gè)框架曾被彭博社披露，引來了不少爭議。
雖然 Brundage 對 AI 政策抱持著謹(jǐn)慎和批判的態(tài)度，但對于 AGI 前景的預(yù)測，他的確稱得上是一個(gè)「技術(shù)樂觀主義者」，觀點(diǎn)與硅谷的風(fēng)投大佬 Khosla 非常一致。
他認(rèn)為，在未來短短的幾年內(nèi)，人工智能很可能能夠?qū)崿F(xiàn)足夠的經(jīng)濟(jì)增長。假設(shè)我們能制定出適當(dāng)?shù)恼邅泶_保公平分配，人類就能實(shí)現(xiàn)高生活水平的提前退休。
但在此之前的短期時(shí)間中，AI 很可能會(huì)搶走一些迫切需要工作的人的機(jī)會(huì)，尤其是那些可以遠(yuǎn)程完成的、容易自動(dòng)化的任務(wù)。
但事實(shí)是，人類最終應(yīng)該擺脫為謀生而工作的義務(wù)，這也為構(gòu)建 AI 和 AGI 提供了最強(qiáng)有力的論據(jù)之一。從長遠(yuǎn)來看，有些人可能會(huì)繼續(xù)工作，但不會(huì)像現(xiàn)在這樣有如此迫切的激勵(lì)因素。
一個(gè)「后工作世界」（post-work world）的風(fēng)險(xiǎn)之一就是文明的停滯（比如電影「機(jī)器人總動(dòng)員」所展現(xiàn)的），但我們目前還沒有在政治、文化或其他方面為此做好準(zhǔn)備，因此需要更多的思考、辯論和政策討論。
2008 年電影「機(jī)器人總動(dòng)員」（WALL-E），由皮克斯工作室制作、迪士尼出品
很多人都描繪過「AI 造福人類」的前景，這些描述似乎是出于好意而非陰謀論。但目前存在效率低下的問題，很大程度上是由于民間社會(huì)和政府的技術(shù)專業(yè)知識(shí)不足，以及缺乏良好的規(guī)范和理論基礎(chǔ)。
例如，對于出現(xiàn)的問題，我們是否應(yīng)該期望市場機(jī)制給出解決方法？什么時(shí)候應(yīng)該構(gòu)建定制化、應(yīng)用范圍狹窄的 AI 解決方案，什么時(shí)候應(yīng)該提高通用 AI 系統(tǒng)的能力來解決？在各種情況中，正確的方法是繼續(xù)補(bǔ)足現(xiàn)有的技術(shù)，還是創(chuàng)造全新的技術(shù)，等等。
要不要在 OpenAI 工作
「要不要在 OpenAI 工作」，這個(gè)問題聽起來有點(diǎn)凡爾賽，可以類比下「斯坦福和 MIT 該選哪個(gè)」。
但如果屏幕前的你拿到了 offer 正在糾結(jié)該去 OpenAI 還是谷歌 DeepMind，Miles Brundage 的經(jīng)驗(yàn)或許能幫助你解決這個(gè)甜蜜的煩惱。
在 OpenAI 工作是大多數(shù)人希望能做到的最有影響力的事情之一，所以在大多數(shù)情況下，答案是肯定的。
考慮到每個(gè)人擁有的技能和機(jī)會(huì)不同，很難做出籠統(tǒng)的陳述，但有一點(diǎn)是確定的 ——OpenAI 的每一個(gè)角色，以及每個(gè)人對待工作的謹(jǐn)慎程度都很重要，對 OpenAI 組織文化的每一項(xiàng)貢獻(xiàn)也很重要。
在通往更強(qiáng)大 AI 的道路上，每一次產(chǎn)品的部署都會(huì)發(fā)揮重要作用，比如影響行業(yè)規(guī)范，以及人們認(rèn)知和監(jiān)管 AI 的方式。
在 OpenAI 工作，無論是 AI 的安全與保障，抑或是 AI 能力和產(chǎn)品方面的研究，發(fā)揮個(gè)人的能動(dòng)作用來推動(dòng) AI 安全都是非常有影響力的。
下面這段話，似乎是 Brundage 的一段隔空喊話，寫給他仍在 OpenAI 工作的前同事們：
「任何在 OpenAI 工作的人都應(yīng)該認(rèn)真對待這樣一個(gè)事實(shí)：他們的行為和言論有助于組織文化，并且當(dāng)這個(gè)組織開始掌管極其先進(jìn)的能力時(shí)，可能會(huì)創(chuàng)造正面或負(fù)面的路徑依賴。文化對任何組織都很重要，但在前沿 AI 的背景下尤其重要，因?yàn)榇蟛糠譀Q策不取決于監(jiān)管法規(guī)，而是來自公司中的人。」
正如 Brundage 在前文所表示的，他認(rèn)為某些政策研究最好在外部進(jìn)行，AI 的安全和保障工作有時(shí)也是如此。盡管 OpenAI 內(nèi)部確實(shí)需要一些人來推動(dòng)公司采取良好的政策立場，但存在獨(dú)立的安全研究也很有價(jià)值。
參考資料：
https://milesbrundage.substack.com/p/why-im-leaving-openai-and-what-im
https://www.reddit.com/r/singularity/comments/1gagocj/openai_senior_advisor_for_agi_readiness_leaving/
本文來自微信公眾號(hào)：微信公眾號(hào)（ID：null），作者：新智元
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。