GPT-5 仍在秘密訓(xùn)練中！DeepMind 聯(lián)合創(chuàng)始人在近日采訪中透露，未來 3 年，Inflection 模型要比現(xiàn)在的 GPT-4 大 1000 倍。
DeepMind 聯(lián)合創(chuàng)始人 Mustafa Suleyman，現(xiàn) Inflection AI 的 CEO 最近在采訪時(shí)投出了重磅炸彈：
OpenAI 正在秘密訓(xùn)練 GPT-5。
我認(rèn)為我們都直截了當(dāng)?shù)卣f會(huì)更好。這就是為什么我們披露了擁有的計(jì)算總量。
在未來 18 個(gè)月內(nèi)，Inflection AI 訓(xùn)練的模型比當(dāng)前的前沿模型大 100 倍。未來 3 年內(nèi)，Inflection 的模型比現(xiàn)在大 1000 倍。
其實(shí)，Sam Altman 此前曾否認(rèn)訓(xùn)練 GPT-5 的這一說法。對(duì)此，網(wǎng)友表示，OpenAI 可能給它起了一個(gè)新名字，所以他們才說沒有訓(xùn)練 GPT-5。
這就像當(dāng)時(shí) Code Interpreter 推出一樣，許多人感覺其能力早已不是 GPT-4 模型，而應(yīng)該是 GPT-4.5。
另外，采訪中，Suleyman 還爆出了很多自己在 DeepMind 和 Inflection AI 工作時(shí)的內(nèi)部信息，包括了谷歌當(dāng)時(shí)收購 DeepMind 和之后的抓馬，某種程度上解釋了為什么 DeepMind 相比于 OpenAI「起了個(gè)大早，卻趕了個(gè)晚集」。
他還認(rèn)為，開源模型可能會(huì)增加 AI 帶給人類的不穩(wěn)定和危害。而 AI 安全性最大的威脅來源并不是大語言模型，而是未來可能出現(xiàn)的自主智能體。
訪談全文
當(dāng)被問到未來 AI 是否有可能會(huì)成為一個(gè)有自主進(jìn)化能力的智能體時(shí)，Suleyman 認(rèn)為：
在短期之內(nèi)，不太可能出現(xiàn)這種智能體 —— 能夠自主運(yùn)行，能夠制定自己的目標(biāo)，能夠識(shí)別環(huán)境中的新信息、新的獎(jiǎng)勵(lì)信號(hào)，并學(xué)會(huì)用它作為自我監(jiān)督，并且隨著時(shí)間的推移更新自己權(quán)重的人工智能體。
但是這種自主進(jìn)化能力的 AI 是所有人都不應(yīng)該忽視的東西，因?yàn)槿绻撤N AI 技術(shù)真的展現(xiàn)出這種能力的，它可能會(huì)有非常大的潛在風(fēng)險(xiǎn)。
至少他知道的范圍之內(nèi)，Inflection AI 和 DeepMind 都沒有在往這個(gè)方向上走。
Inflection AI 不是一家 AGI 公司，他們想做的事就是希望能夠做出一個(gè)非常好用的個(gè)人助理。這個(gè)助理在能夠充分訪問用戶個(gè)人信息的前提下，為用戶提供高度定制化的 AI 服務(wù)。
模型訓(xùn)練軍備競(jìng)賽會(huì)加劇 AI 的風(fēng)險(xiǎn)嗎？
他的公司，Inflection AI 正在建造世界上最大的超級(jí)計(jì)算機(jī)之一，并且他認(rèn)為在接下來的 18 個(gè)月內(nèi)，他們可能會(huì)進(jìn)行一次比制造 GPT-4 的語言模型訓(xùn)練運(yùn)行大 10 倍或 100 倍的訓(xùn)練運(yùn)行。
當(dāng)被問到，這種軍備競(jìng)賽式的訓(xùn)練模型可能會(huì)增加 AI 的風(fēng)險(xiǎn)嗎，他回答到：
100 倍的訓(xùn)練仍然會(huì)產(chǎn)生一個(gè)聊天機(jī)器人，可以理解為一個(gè)更好的 GPT-4，盡管這會(huì)成為一個(gè)更令人印象深刻的模型，但這并不危險(xiǎn) —— 因?yàn)樗狈ψ灾餍裕荒芨脑煳锢硎澜绲茸屇Ｐ妥陨碜兊梦ｋU(xiǎn)的基本要素。
僅僅生產(chǎn)一個(gè)非常好的、更好的 GPT-4 還不算危險(xiǎn)；為了讓它變得危險(xiǎn)，我們需要增加其他能力，比如前邊提到的，讓模型能夠自我迭代，自我制定目標(biāo)等等。
那大約是五年、十年、十五年、二十年之后的事了。
Suleyman 認(rèn)為，Sam Altman 最近說過他們沒有訓(xùn)練 GPT-5，可能沒有說實(shí)話。（Come on. I don’t know. I think it’s better that we’re all just straight about it.）
他希望所有擁有大規(guī)模算力的公司都能盡可能的保持透明，這也是他們披露自己擁有的計(jì)算總量的原因。
他們正在訓(xùn)練比 GPT-4 更大的模型。目前，他們有 6000 臺(tái) H100 正在訓(xùn)練模型。
到 12 月，22,000 個(gè) H100 全面投入運(yùn)營。從現(xiàn)在開始，每個(gè)月都會(huì)增加 1000 到 2000 臺(tái) H100。
他認(rèn)為谷歌 DeepMind 也應(yīng)該做同樣的事情，應(yīng)該披露 Gemini 接受了多少 FLOPS 訓(xùn)練。
AI 訓(xùn)練成本將如何變化
從算力成本的角度來看，未來 AI 訓(xùn)練的規(guī)模不可能達(dá)到訓(xùn)練某個(gè)模型需要 100 億美元的成本，除非真的有人會(huì)花 3 年時(shí)間去訓(xùn)練一個(gè)模型，因?yàn)槎询B越多算力去訓(xùn)練一個(gè)越大的模型，需要的時(shí)間也會(huì)更長。
雖然花的成本越高，可能能帶來更強(qiáng)的能力，但是這不是一個(gè)沒有上限的數(shù)學(xué)問題，需要考慮很多實(shí)際情況的限制。
但是因?yàn)樗懔Τ杀倦S著芯片算力的迭代在不斷下降，所以未來可能會(huì)出現(xiàn)訓(xùn)練某個(gè)模型的成本相當(dāng)于在 2022 年花費(fèi)了 100 億美元來訓(xùn)練。
但是因?yàn)樾酒懔?huì)以 2-3 倍的效率增長，所以到時(shí)候訓(xùn)練一個(gè)這樣規(guī)模的成本會(huì)遠(yuǎn)遠(yuǎn)小于現(xiàn)在看起來的成本。
比如說，現(xiàn)在開源社區(qū)中的 Llama2 或者 Falcon 等模型，只有 15 億參數(shù)或 20 億參數(shù)，就獲得了有 1750 億參數(shù)的 GPT-3 的參數(shù)的能力。
開源的看法
作為一直在閉源科技公司工作的 Suleyman，對(duì)于開源模型的價(jià)值和可能的風(fēng)險(xiǎn)，有非常與眾不同的觀點(diǎn)。
首先，他認(rèn)為，在未來 5 年這個(gè)時(shí)間維度之內(nèi)，開源模型始終會(huì)落后最前沿的閉源模型 3-5 年的時(shí)間。而且，開源模型會(huì)增加 AI 帶來的社會(huì)風(fēng)險(xiǎn)。
如果所有人都能無限制地訪問最新的模型，將會(huì)出現(xiàn)一個(gè)現(xiàn)象 ——「力量的快速擴(kuò)散」。
舉個(gè)栗子，就像新媒體平臺(tái)讓每個(gè)人都可以作為一份完整的報(bào)紙發(fā)揮作用，擁有數(shù)百萬粉絲，甚至能影響全世界。
對(duì)于最前沿模型的無限制訪問將會(huì)擴(kuò)大這種力量，因?yàn)樵谖磥?3 年內(nèi)，人類能夠訓(xùn)練出比現(xiàn)有模型規(guī)模大上 1000 倍的模型。
即便是 Inflection AI，也能在未來 18 個(gè)月內(nèi)獲得比現(xiàn)在最前沿的模型大 100 倍的計(jì)算能力。
而開源的大模型會(huì)將這種力量交到每個(gè)人的手中，相當(dāng)于給了每個(gè)人一個(gè)潛在的大規(guī)模不穩(wěn)定破壞性的工具。
而到時(shí)候，再想辦法避免這些工具可能產(chǎn)生的破壞性后果，有人做了一個(gè)很巧妙的比喻 —— 圖試圖通過用手接住雨水來讓雨停下來。
他曾經(jīng)向監(jiān)管部門解釋過，AI 技術(shù)未來會(huì)降低很多潛在危險(xiǎn)化合物或者武器的開發(fā)門檻。
AI 能在實(shí)際制作這些東西時(shí)提供大量的幫助 —— 比如告知在實(shí)驗(yàn)室中遇到技術(shù)挑戰(zhàn)時(shí)從哪里獲取工具等等。不過確實(shí)，從預(yù)訓(xùn)練中刪除這些內(nèi)容，對(duì)模型進(jìn)行對(duì)齊等等辦法，可以有效地降低這樣的風(fēng)險(xiǎn)。
總之，對(duì)于用大模型能力來做壞事的人，需要盡量讓他們?cè)谧鲞@些事的時(shí)候變得困難。
但是如果盡可能的開源一切模型，未來面對(duì)能力越來越強(qiáng)的模型，將會(huì)把更多的類似風(fēng)險(xiǎn)暴露出來。
所以雖然開源模型對(duì)于很多人來說確實(shí)是一件好事，能夠讓所有人都獲得模型并且進(jìn)行各種各樣的嘗試，帶來技術(shù)上的創(chuàng)新和改進(jìn)，但是也一定要看到開源的風(fēng)險(xiǎn)，因?yàn)椴⒉皇敲總€(gè)人都是善意和友好的。
雖然我說這樣的話可能會(huì)被很多人理解為我做的事和開源社區(qū)存在利益沖突，因此很多人可能會(huì)很生氣，但是我還是要表達(dá)我的觀點(diǎn)。
他還強(qiáng)調(diào)了，他不是為了攻擊開源社區(qū)才說出這番言論的：
「雖然我說這樣的話可能會(huì)被很多人理解為我做的事和開源社區(qū)存在利益沖突，因此很多人可能會(huì)很生氣，但是我還是要表達(dá)我的觀點(diǎn)，也希望獲得人們的支持?！?/p>
在谷歌和 DeepMind 期間的抓馬
在 DeepMind 度過的 10 年里，他花了大量時(shí)間試圖將更多的外部監(jiān)督融入到構(gòu)建 AI 技術(shù)的過程中。
這是一個(gè)相當(dāng)痛苦的過程。雖然他認(rèn)為谷歌的出發(fā)點(diǎn)是好地，但它運(yùn)作的方式仍然像傳統(tǒng)的官僚機(jī)構(gòu)一樣。
當(dāng)我們?cè)O(shè)立了谷歌的倫理委員會(huì)時(shí)，計(jì)劃有九名獨(dú)立成員，是對(duì)于開發(fā)敏感技術(shù)過程中進(jìn)行外部監(jiān)督的重要措施。
但因?yàn)槿蚊艘粋€(gè)保守派人士，而她過去曾發(fā)表過一些有爭(zhēng)議的言論，很多網(wǎng)友就在推特等場(chǎng)合抵制她，同時(shí)也抵制其他支持她的幾個(gè)成員，要求他們退出委員會(huì)。
這是一場(chǎng)徹底的悲劇，非常令人沮喪。我們花了兩年時(shí)間來建立這個(gè)委員會(huì)，這是朝著對(duì)我們正在開發(fā)的非常敏感的技術(shù)進(jìn)行外部審查的第一步。
不幸的是，在一周內(nèi)，九名成員中的三名辭職了，最終她也辭職了，然后我們失去了半數(shù)委員會(huì)成員。
然后公司轉(zhuǎn)身說：「我們?yōu)槭裁匆腥藖硐拗谱约海窟@純粹是浪費(fèi)時(shí)間?！?/p>
其實(shí)，當(dāng) DeepMind 被收購時(shí)，我們提出了收購的條件，即我們要有一個(gè)倫理和安全委員會(huì)。
我們計(jì)劃在倫理和安全委員會(huì)之后，我們要將 DeepMind 打造成一個(gè)全球利益公司：一個(gè)所有利益相關(guān)者在做決策時(shí)都能發(fā)聲的公司。
它是一個(gè)按擔(dān)保有限責(zé)任公司設(shè)立的公司。然后，我們計(jì)劃制定一個(gè)憲章，為 AGI 的開發(fā)制定相關(guān)的倫理安全的目標(biāo)；這樣使得我們可以將收入的大部分用于科學(xué)和社會(huì)使命。
這是一個(gè)非常有創(chuàng)意和實(shí)驗(yàn)性的結(jié)構(gòu)。但是當(dāng) Alphabet 看到設(shè)立倫理委員會(huì)發(fā)生的事情時(shí)，他們變得膽怯了。他們說：「這完全瘋了。你們的全球利益公司也會(huì)發(fā)生同樣的事情。為什么要那樣做？」
最終，我們將 DeepMind 合并進(jìn)入到了谷歌，從某種程度上說，DeepMind 從未獨(dú)立過 —— 現(xiàn)在當(dāng)然也完全從屬于谷歌。
谷歌下一代大模型 Gemini
The Information 獨(dú)家報(bào)道稱，谷歌多模態(tài)人工智能模型 Gemini 即將面世，直接對(duì)標(biāo) OpenAI 的 GPT-4。
其實(shí)，在今年谷歌 I / O 大會(huì)上，劈柴已經(jīng)向大眾宣布，谷歌正在研發(fā)下一代模型 Gemini。
有傳言說，該模型將至少有 1 萬億參數(shù)，訓(xùn)練將使用數(shù)以萬計(jì)的谷歌 TPU AI 芯片。
與 OpenAI 類似，谷歌使用 GPT-4 的方法來構(gòu)建模型，由多個(gè)具有特定能力的人工智能專家模型組成。
簡言之，Gemini 同樣是一個(gè)混合專家模型（MoE）。
這也可能意味著，谷歌希望提供不同參數(shù)規(guī)模的 Gemini，因?yàn)閺某杀拘б嫔峡紤]是個(gè)不錯(cuò)的選擇。
除了生成圖像和文本外，Gemini 接受過 YouTube 視頻轉(zhuǎn)錄數(shù)據(jù)的訓(xùn)練，也可以生成簡單的視頻，類似于 RunwayML Gen-2。
另外，比起 Bard，Gemini 在編碼能力方面也得到了顯著提升。
Gemini 推出之后，谷歌也計(jì)劃逐步將其整合到自家產(chǎn)品線中，包括升級(jí) Bard，谷歌辦公全家桶、谷歌云等等。
其實(shí)，在 Gemini 之前，DeepMind 還有一個(gè)代號(hào)為「Goodall」的模型，基于未宣布的模型 Chipmunk 打造，可與 ChatGPT 匹敵。
不過 GPT-4 誕生后，谷歌最后決放棄這一模型研發(fā)。
據(jù)稱，至少有 20 多位高管參與了 Gemini 的研發(fā)，DeepMind 的創(chuàng)始人 Demis Hassabis 領(lǐng)導(dǎo)，谷歌創(chuàng)始人 Sergey Brin 參與研發(fā)。
還有谷歌 DeepMind 組成的數(shù)百名員工，其中包括前谷歌大腦主管 Jeff Dean 等等。
Demis Hassabis 在此前接受采訪表示，Gemini 將結(jié)合 AlphaGo 類型系統(tǒng)的一些優(yōu)勢(shì)和大型模型驚人的語言能力。
可以看到，谷歌已經(jīng)在全力備戰(zhàn)，就等著 Gemini 開啟逆襲之路。
參考資料：
https://80000hours.org/podcast/episodes/mustafa-suleyman-getting-washington-and-silicon-valley-to-tame-ai/
https://twitter.com/AISafetyMemes/status/1697960264740606331
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。