“AI 確實可能殺死人類?！?/p>
這話并非危言聳聽，而是 OpenAI CEO 奧特曼的最新觀點。
而這番觀點，是奧特曼在與 MIT 研究科學家 Lex Fridman 長達 2 小時的對話中透露。
不僅如此，奧特曼談及了近期圍繞 ChatGPT 產(chǎn)生的諸多問題，坦承就連 OpenAI 團隊，也根本沒搞懂它是如何“進化”的：
從 ChatGPT 開始，AI 出現(xiàn)了推理能力。但沒人能解讀這種能力出現(xiàn)的原因。
唯一的途徑是向 ChatGPT 提問，從它的回答中摸索它的思路。
針對馬斯克在推特上的“危險論”，他直言：
馬斯克在我心中是英雄，我支持也理解他的擔憂。
雖然他在推特上挺混蛋的，但希望馬斯克能看到我們在解決 AGI 安全問題上付出了多大的努力。
除此之外，在這場對話過程中，奧特曼還提到了不少刁鉆的話題，例如：
ChatGPT、GPT-4 開發(fā)的內幕
GPT-4 是人類迄今所實現(xiàn)的最復雜的軟件
如何看待大家拿 ChatGPT 越獄
……
在看過這場對話之后，網(wǎng)友直呼：
兩位 AI 大佬用大家都能理解的方式聊 AI，多來點這樣的訪談。
那么接下來，我們就來一同看下他們這場深度對話。
GPT-4 內幕大曝光
GPT-4 是這場對話中最受關注的部分。
它是如何訓練的？如何在訓練模型時避免浪費算力？如何解決 AI 回答不同價值觀的人的問題？
首先是訓練過程，依舊是預訓練 + RLHF，不過透露了一點具體細節(jié)。
GPT-4 早在去年夏天就已經(jīng)訓練完成，后面一直在進行對齊工作，讓它表現(xiàn)得更符合人類需求。
相比預訓練數(shù)據(jù)集，RLHF 所用的數(shù)據(jù)非常少，但效果是決定性的。
對此，奧特曼透露了一點數(shù)據(jù)來源，包含一些開源數(shù)據(jù)集、以及合作商提供的部分數(shù)據(jù)集。
當然，數(shù)據(jù)集中也有一點 Reddit 論壇上出現(xiàn)的迷因梗（meme），但不是很多。對此奧特曼遺憾表示：
如果再多點，它的回答可能會更有趣。
即便如此，團隊甚至奧特曼自己依舊不能完全解讀 GPT-4。
目前對它的解讀方式，依舊是通過不斷問它問題，通過它的回答來判斷它的“思路”。
而就在不斷測試中，OpenAI 發(fā)現(xiàn)從 ChatGPT 開始，GPT 系列出現(xiàn)了推理能力。
雖然 ChatGPT 絕大部分時候都被當做數(shù)據(jù)庫使用，但它確實也出現(xiàn)了一定的推理能力，至于這種能力具體如何出現(xiàn)的，目前卻無人能回答。
但大模型的訓練往往意味著大量算力需求。對此奧特曼再次提到了 OpenAI 獨特的訓練預測方法：
即便模型很大，團隊目前也有辦法只通過部分訓練，預測整個模型的性能，就像是預測一名 1 歲的嬰兒能否通過 SAT 考試一樣。
關于這一點，在 GPT-4 論文和官方博客中也有更詳細介紹。
最后奧特曼承認，GPT-4 確實存在應對不同價值觀的人的問題。
臨時解決辦法就是把更改系統(tǒng)消息（system message）的權限開放給用戶，也就是 ChatGPT 中經(jīng)常見到的那段“我只是一個語言模型……”。
通過改變系統(tǒng)消息，GPT-4 會更容易扮演其中規(guī)定的角色，比在對話中提出要求的重視程度更高，如規(guī)定 GPT-4 像蘇格拉底一樣說話，或者只用 JSON 格式回答問題。
所以，對于 GPT 系列來說，誰最可能載入人工智能史冊？奧特曼倒不認為是 GPT-4：
從可用性和 RLHF 來看，ChatGPT 無疑是最具里程碑的那一個，背后的模型沒有產(chǎn)品的實用性重要。
最會打太極的 CEO
GPT-4 論文中沒有透露參數(shù)規(guī)模、訓練數(shù)據(jù)集大小等更多細節(jié)，還被外界吐槽越來越不 Open 了。
在這次訪談中，面對主持人步步追問，奧特曼依舊守口如瓶。
GPT-4 預訓練數(shù)據(jù)集有多大？奧特曼只是很籠統(tǒng)的介紹了有公開數(shù)據(jù)集、有來自合作伙伴的內容（如 GitHub 提供的代碼）還有來自網(wǎng)絡的內容。
活像 ChatGPT 也能寫出來的那種賽博八股文，只有在談到 Reddit 的時候透露了網(wǎng)絡梗圖在訓練數(shù)據(jù)中占比不大，“不然 ChatGPT 可能更有趣一些”。
GPT-4 模型參數(shù)量有多大？奧特曼只是說之前瘋傳的 100 萬億參數(shù)是謠言，然后又糊弄過去了。
我認為人們被參數(shù)競賽所吸引，就像過去被 CPU 的主頻競賽所吸引一樣?，F(xiàn)在人們不再關心手機處理器有多少赫茲了，關心的是這東西能為你做什么。
不過奧特曼對于一種說法是持有肯定態(tài)度 ——“GPT-4 是人類迄今所實現(xiàn)的最復雜的軟件”。
但在主持人 Lex 突然拋出一些時下針對 GPT-4 的尖銳觀點時，奧特曼的應對也堪稱“AI 般淡定”（狗頭）。
例如，關于前段時間鬧得沸沸揚揚的 GPT-4 越獄問題。
一名斯坦福教授僅僅用 30 分鐘，就誘導 GPT-4 制定出了越獄計劃，并全部展示了出來。
對此奧特曼表示，就如同當年 iPhone 也面臨被“黑”或者說越獄的問題（如當年免費的越獄版 App Store）一樣，這并非不能解決的事情。
奧特曼甚至坦承，他當年就把自己的第一臺蘋果手機越獄了 —— 甚至當時覺得這是個很酷的事情。
但現(xiàn)在已經(jīng)沒有多少人去干蘋果越獄的事情了，因為不越獄也足夠好用了。
奧特曼表示，OpenAI 的應對思路同樣如此，即把功能做的足夠強，他甚至表示，愿意在這方面給用戶開更多權限，以便了解他們到底想要什么。
除此之外，Lex 還提到了馬斯克對于奧特曼的批評。
奧特曼雖然是當年被馬斯克一手提拔的人才，但如今馬斯克不僅退出了他們聯(lián)手創(chuàng)辦的 OpenAI，還對 OpenAI 現(xiàn)狀十分不滿，經(jīng)常在推特上陰陽怪氣這家公司。
我捐 1 億美金成立的非營利組織怎么就變成一個 300 億市值的營利性公司了呢？如果這是合法的，為什么其他人不這樣做？
作為 OpenAI 現(xiàn)任 CEO，奧特曼并未直接回應此事，而是調侃了一下馬斯克在航天領域也經(jīng)常被“老前輩”們批評的事情。
這一系列采訪問答，不禁讓人想到在 ChatGPT 發(fā)布后，奧特曼對于記者“將 ChatGPT 整合進微軟必應和 Office”問題的回應方式：
你知道我不能對此發(fā)表評論。我知道你知道我不能對此發(fā)表評論。你知道我知道你知道我不能對此發(fā)表評論。
既然如此，為什么你還要問它呢？
GPT 的“偏見”不會消失
GPT 在迭代過程中“偏見”必然存在，它不可能保持完全中立。
在主持人提到關于 ChatGPT 以及 GPT-4 種存在的偏見問題時，奧特曼這樣回應道。
ChatGPT 在推出之初，就不是一個成熟的產(chǎn)品，它需要不斷迭代，而在迭代的過程中，僅僅依靠內部的力量是無法完成的。
“提前”推出 ChatGPT 技術，是要借助外部世界的集體智慧和能力，同時也能讓全世界參與進“塑造 AI”的過程中。
而不同人對于問題的看法也各不相同，所以在這個過程中，“偏見”問題就不可避免。
甚至奧特曼在話里話外也透露著：在 GPT 中，“偏見”永遠不會消失。
他將外部參與建設 GPT 比作“公開領域建設的權衡”。
GPT 生成答案是個性化控制的結果，迭代的過程則是更精準地控制“個性化”的過程。
有趣的是，期間奧特曼還暗戳戳“背刺”起了馬斯克的推特：
推特摧毀掉的多元性，我們正在將其找回來。
（嗯，奧特曼是懂一些話術的）
當然，談到 ChatGPT，總繞不開其背后的公司 OpenAI，在成立之初，它就立下了兩個 Flag：
1、非營利性
2、通用人工智能（AGI）
如今，已經(jīng)過去八年之久，這兩個 Flag 也是發(fā)生了巨大的變化：AGI 的大旗還在高舉，而非營利性這面旗則已經(jīng)搖搖欲墜。
對此，奧特曼也是分別作出了回應。
對于 OpenAI“非營利性質”的逐漸削弱，奧特曼直言：很久之前，就已經(jīng)意識到非營利性不是長久之計。
僅僅依靠非營利籌集到的資金對 OpenAI 的研究來說遠遠不夠，商業(yè)化是必然選擇。
但在之后奧特曼也試圖“找補”回一些，稱目前的商業(yè)化的程度僅止于滿足投資者與員工的固定回報，剩余資金還是會流向非營利性組織。
提到 AGI，一開始在 OpenAI 聲稱要做通用人工智能時，還有一堆人在嘲諷，如今做出 GPT-4 這樣的產(chǎn)品，回過頭來再看，嘲諷的聲音已經(jīng)越來越少了。
而面對外界詢問“GPT-4 是 AGI 嗎”這樣的問題時，奧特曼則是直接給出了自己理解中的 AGI：
AGI 所掌握的知識應該是要超過人類科學知識總和的，并且具有創(chuàng)造性，能夠推動基礎科學的發(fā)展；
而目前所有 GPT 并不能做到這些，想要達到 AGI 還需要在目前 GPT 的范式上進行拓展，至于如何拓展，正是目前所缺乏的。
值得一提的是，談到 AGI 時，是奧特曼在訪談中鮮有的“兩眼放光”的時刻。
他拋出了一句極具“科研分子理想情懷”的金句：
也許 AGI 是永遠抵達不了的烏托邦，但這個過程會讓人類越來越強大。
但奧特曼并不否認過分強大的 AGI“可能殺死人類”這一觀點：
我必須承認，（AI 殺死人類）有一定可能性。
很多關于 AI 安全和挑戰(zhàn)的預測被證明是錯誤的，我們必須正視這一點，并盡早嘗試找到解決問題的方法。
One More Thing
在談話最后，Lex Fridman 還試圖讓奧特曼講一些給年輕人們的建議，奧特曼直接來了個“反雞湯文學”：
網(wǎng)絡上的“成功學”帖子太誘人，建議不要聽太多建議。
我就是無視建議做到現(xiàn)在這樣的。
參考鏈接：
https://www.youtube.com/watch?v=L_Guz73e6fw
本文來自微信公眾號：量子位 （ID：QbitAI），作者：Pine 蕭簫 金磊
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結果僅供參考，IT之家所有文章均包含本聲明。