古希臘神話中，一位名叫赫爾墨斯的神，會充當(dāng)人神之間的信使，穿著帶有雙翼的飛鞋，行走在神明與人類之間。
根據(jù)《荷馬史詩》的記載：“在天神中，赫爾墨斯是最喜歡引導(dǎo)凡人前行的?！边@句話用來形容 OpenAI 與 AI 的關(guān)系，雖不中亦不遠(yuǎn)矣。
上一周，OpenAI 打造的 ChatGPT 出盡風(fēng)頭，成為國內(nèi)外 AI 領(lǐng)域的頭號熱門話題。關(guān)于 ChatGPT 的對話能力，大家可能已經(jīng)通過很多文章感受過了。簡單總結(jié)，就是對答如流，無所不能，可替程序員寫代碼，可替商務(wù)人士出方案，還能替作家編故事。一度讓久違的 “谷歌已死”“XX 職業(yè)又要被 AI 取代了”之類的 AI 威脅論說辭，開始大量出現(xiàn)了。
關(guān)于 ChatGPT 的神奇之處，看多了也有點審美疲勞了，冷靜下來思考一下：
為什么同樣是 AIGC，問答、對話這類 NLP 領(lǐng)域應(yīng)用更容易引起轟動，激發(fā)人們對通用人工智能的希望？
為什么同樣是預(yù)訓(xùn)練模型，相比 BERT、GPT3 等前輩，ChatGPT 的對話能力產(chǎn)生了質(zhì)的飛躍？
為什么同樣是做 AI，OpenAI 要死磕 NLP，從 GPT1 到 ChatGPT 不斷迭代？
OpenAI 的 CEO、聯(lián)合創(chuàng)始人 Sam Altman 曾說過一句話：“Trust the exponential，F(xiàn)lat looking backwards，vertical looking forwards”，相信指數(shù)的力量，平行地向后看，垂直地向前看。ChatGPT 出現(xiàn)代表著，AI 似乎已經(jīng)站到了指數(shù)級飛躍的關(guān)鍵點上。但起飛的 ChatGPT，并不是一蹴而就的。
從 GPT 到 ChatGPT，恰好代表了 OpenAI 在大模型領(lǐng)域切實走過的歷程，從中可以看到，OpenAI 在 AI 大模型競爭中，已經(jīng)探索出了一條屬于自己的道路，就如同赫爾墨斯一樣，成為引領(lǐng) AI 技術(shù)前進(jìn)的使者。
如果 OpenAI 是傳遞 AI 前沿進(jìn)展的赫爾墨斯，ChatGPT 就是那雙帶著雙翼的金絲鞋。我們既要關(guān)注 ChatGPT 這雙鞋究竟有多神奇，更有必要搞懂，OpenAI 選擇的這條大模型道路有何玄機。
今天，中國科技企業(yè)與研究機構(gòu)都在積極投布局大模型，求術(shù)不如問道，我們不妨從 GPT 這一系列模型的演變歷程，望向 OpenAI 關(guān)于 AI 與大模型的戰(zhàn)略思考與發(fā)展脈絡(luò)。
從 GPT-1 到 ChatGPT，超神模型的演化足跡
OpenAI 在博客中寫道，ChatGPT 是從 GPT3.5 系列中的模型進(jìn)行微調(diào)而誕生的。
正如名稱中所暗示的那樣，GPT- 3.5 是 OpenAI 設(shè)計的一系列 NLP 模型中的第四個，此前還出現(xiàn)了 GPT - 1、GPT - 2 和 GPT - 3。
在 GPT 出現(xiàn)之前，NLP 模型主要是基于針對特定任務(wù)的大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練。這會導(dǎo)致一些限制：
大規(guī)模高質(zhì)量的標(biāo)注數(shù)據(jù)不易獲得；
模型僅限于所接受的訓(xùn)練，泛化能力不足；
無法執(zhí)行開箱即用的任務(wù)，限制了模型的落地應(yīng)用。
為了克服這些問題，OpenAI 走上了預(yù)訓(xùn)練大模型的道路。從 GPT1 到 ChatGPT，就是一個預(yù)訓(xùn)練模型越來越大、效果越來越強的過程。當(dāng)然，OpenAI 的實現(xiàn)方式并不只是“大力出奇跡”那么簡單。
第一代：從有監(jiān)督到無監(jiān)督 GPT-1。2018 年，OpenAI 推出了第一代生成式預(yù)訓(xùn)練模型 GPT-1，此前，NLP 任務(wù)需要通過大規(guī)模數(shù)據(jù)集來進(jìn)行有監(jiān)督的學(xué)習(xí)，需要成本高昂的數(shù)據(jù)標(biāo)注工作，GPT-1 的關(guān)鍵特征是：半監(jiān)督學(xué)習(xí)。先用無監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練，在 8 個 GPU 上花費 了 1 個月的時間，從大量未標(biāo)注數(shù)據(jù)中增強 AI 系統(tǒng)的語言能力，獲得大量知識，然后進(jìn)行有監(jiān)督的微調(diào)，與大型數(shù)據(jù)集集成來提高系統(tǒng)在 NLP 任務(wù)中的性能。
GPT-1 的效果明顯，只需要極少的微調(diào)，就可以增強 NLP 模型的能力，減少對資源和數(shù)據(jù)的需求。同時，GPT-1 也存在明顯的問題，一是數(shù)據(jù)局限性，GPT-1 是在互聯(lián)網(wǎng)上的書籍和文本上訓(xùn)練的，對世界的認(rèn)識不夠完整和準(zhǔn)確；二是泛化性依然不足，在一些任務(wù)上性能表現(xiàn)就會下降。
第二代：更大更高更強的 GPT-2。2019 年推出的 GPT-2，與 GPT-1 并沒有本質(zhì)上的不同（注意這一點），架構(gòu)相同，使用了更大的數(shù)據(jù)集 WebText，大約有 40 GB 的文本數(shù)據(jù)、800 萬個文檔，并為模型添加了更多參數(shù)（達(dá)到驚人的 15 億個參數(shù)），來提高模型的準(zhǔn)確性，可以說是加強版或臃腫版的 GPT-1。
GPT-2 的出現(xiàn)，進(jìn)一步證明了無監(jiān)督學(xué)習(xí)的價值，以及預(yù)訓(xùn)練模型在下游 NLP 任務(wù)中的廣泛成功，已經(jīng)開始達(dá)到圖靈測試的要求，有研究表示，GPT-2 生成的文本幾乎與《紐約時報》的真實文章（83%）一樣令人信服。
第三代：跨越式進(jìn)步的 GPT-3。2020 年，GPT-3 的這次迭代，出現(xiàn)了重大的飛躍，成為與 GPT-2 迥然不同的物種。
首先，GPT-3 的體量空前龐大，擁有超過 1750 億個參數(shù)，是 GPT-2 的 117 倍；其次，GPT-3 不需要微調(diào)，它可以識別到數(shù)據(jù)中隱藏的含義，并運用此前訓(xùn)練獲得的知識，來執(zhí)行下游任務(wù)。這意味著，哪怕從來沒有接觸過的示例，GPT-3 就能理解并提供不錯的表現(xiàn)。因此，GPT-3 也在商業(yè)應(yīng)用上表現(xiàn)出了極高的穩(wěn)定性和實用性，通過云上的 API 訪問來實現(xiàn)商業(yè)化。這種入得了實驗室、下得了車間的能力，使得 GPT-3 成為 2020 年 AI 領(lǐng)域最驚艷的模型之一。
當(dāng)然，GPT-3 也并不完美。正如聯(lián)合創(chuàng)始人 Sam Altman 所說，GPT-3 的水平仍處于早期階段，有時候也會犯非常愚蠢的錯誤，我們距離真正的人工智能世界還有很長的距離。另外，GPT-3 API 的很多基礎(chǔ)模型非常龐大，需要大量的專業(yè)知識和性能優(yōu)異的機器，這使得中小企業(yè)或個人開發(fā)者使用起來比較困難。
第四代：基于理解而生成的 ChatGPT。終于在 2022 年，OpenAI 的預(yù)訓(xùn)練語言模型之路，又出現(xiàn)了顛覆式的迭代，產(chǎn)生了技術(shù)路線上的又一次方向性變化：基于人工標(biāo)注數(shù)據(jù) + 強化學(xué)習(xí)的推理和生成。
前面提到，一開始預(yù)訓(xùn)練模型的出現(xiàn)，是為了減少監(jiān)督學(xué)習(xí)對高質(zhì)量標(biāo)注數(shù)據(jù)的依賴。而 ChatGPT 在 GPT -3.5 大規(guī)模語言模型的基礎(chǔ)上，又開始依托大量人工標(biāo)注數(shù)據(jù)（據(jù)說 OpenAI 找了 40 個博士來標(biāo)數(shù)據(jù)），這怎么又走回監(jiān)督學(xué)習(xí)的“老路”了呢？
原因是，GPT 3.5 雖然很強，但無法理解人類指令的含義（比如寫一段博文、改一段代碼），無法判斷輸入，自然也就很難給出高質(zhì)量的輸出答案。所以 OpenAI 通過專業(yè)的標(biāo)注人員（據(jù)說是 40 個博士）來寫詞條，給出相應(yīng)指令 / 問題的高質(zhì)量答案，在基于這些數(shù)據(jù)來調(diào)整 GPT -3.5 的參數(shù)，從而讓 GPT -3.5 具備了理解人類指令的能力。
在人工標(biāo)注訓(xùn)練數(shù)據(jù)的基礎(chǔ)上，再使用強化學(xué)習(xí)來增強預(yù)訓(xùn)練模型的能力。強化學(xué)習(xí)，簡單理解就是做對了獎勵、做錯了懲罰，不斷根據(jù)系統(tǒng)的打分來更新參數(shù)，從而產(chǎn)生越來越高質(zhì)量的回答。所以這幾天很多人在互動中發(fā)現(xiàn)，ChatGPT 會承認(rèn)錯誤、會修改自己的答復(fù)，這正是因為它具備從人類的反饋中強化學(xué)習(xí)并重新思考的能力。
因為 ChatGPT 具備了理解能力，所以才被看作是通向通用人工智能 AGI 的路徑。
當(dāng)然，ChatGPT 也并不是完美進(jìn)化體。OpenAI 的官網(wǎng)明確提示，ChatGPT“可能偶爾會生成不正確的信息”，并且“對 2021 年之后的世界和事件的了解有限”。一些比較難的知識，比如“紅樓夢講了什么”，ChatGPT 會一本正經(jīng)地胡說八道。
從 GPT 模型的演進(jìn)和迭代中，可以看到 OpenAI 是不斷朝著自然語言理解這一目標(biāo)前進(jìn)，用更大的模型、更先進(jìn)的架構(gòu)，最終為通用人工智能找到了一條路徑。
從 GPT-1 到 ChatGPT 的縱向演變，會看到 OpenAI 對大模型的獨特理解與技術(shù)脈絡(luò) —— 通過模型預(yù)訓(xùn)練提升 NLP 指標(biāo)，抵達(dá)強人工智能。NLP 領(lǐng)域究竟特殊在哪里，值得 OpenAI 如此執(zhí)著？
OpenAI 的大模型差異化之路
前文中不難看出，OpenAI 對于文本生成模型的執(zhí)著，因為做夠得久、投入夠多，所以能夠做得更好，是非常有長期戰(zhàn)略定力的。
與之相比，和 GPT-1 同年推出的預(yù)訓(xùn)練模型，還有谷歌發(fā)布的 BERT，但后者在火爆一段時間之后影響力明顯減弱；而 NLP 問答領(lǐng)域一向由 Meta 引領(lǐng)，Meta AI 的 OPT 模型和 GPT-3 達(dá)到了同等的參數(shù)量，但效果就不如 OpenAI。同期選手中，OpenAI 對于語言模型的用心顯然是更多的。
一方面是資源投入，無論是越來越大的模型，需要消耗龐大的算力資源，ChatGPT 所需要的高質(zhì)量標(biāo)注數(shù)據(jù)，依靠博士級別的專業(yè)人士來完成，比起將數(shù)據(jù)標(biāo)注任務(wù)分發(fā)給眾包平臺，顯然會消耗更多的人力和財力。
另一方面，是技術(shù)投入，大規(guī)模預(yù)訓(xùn)練、增強學(xué)習(xí)等技術(shù)都用在提升 NLP 對話系統(tǒng)在開放通用領(lǐng)域上的理解和推理能力。NLP 是認(rèn)知智能，要提升就必須解決知識依賴，而知識又是非常離散且難以表示的，要解決帶標(biāo)數(shù)據(jù)不足、常識知識不足等問題，是非常具有技術(shù)挑戰(zhàn)的。多年前 IBM 的 Frederick Jelinek 就說過：“每當(dāng)我開除一個語言學(xué)家，語音識別系統(tǒng)的性能就會改善一些。”頗有種“解決不了問題，就解決提出問題的人”的既視感。所以也可以說，OpenAI 選擇了一條更難走的路，去解決真正困難的問題。
此外，聚焦 NLP 領(lǐng)域也意味著 OpenAI 會承擔(dān)隱形的機會成本。
今年 AIGC（AI 生成內(nèi)容）在資本市場和應(yīng)用市場都有很大的進(jìn)展，與 AI 作畫、音視頻生成、AlphaFold2 所解決的蛋白質(zhì)結(jié)構(gòu)預(yù)測等生成任務(wù)相比，NLP 任務(wù)都是直接用詞匯和符號來表達(dá)概念，此類模型通過“API + 云服務(wù)”來完成商業(yè)化服務(wù)，無論是云資源的消耗量還是接口調(diào)用服務(wù)收費，所獲得的收益也是遠(yuǎn)不及圖像音視頻或科學(xué)計算的。拿同樣的精力做十個八個 Dalle 模型，肯定能賺得更多。
科技博主王詠剛在博客中分享了一個故事，稱與 OpenAI 的兩位聯(lián)合創(chuàng)始人交流，發(fā)現(xiàn)這二人甚至不知道 AIGC 是什么意思！
說到這里，或許可以得出結(jié)論，OpenAI 作為一個旨在“實現(xiàn)安全的通用人工智能 (AGI)”的公司，就是在不計投入、不計商業(yè)回報，專心致志地通過過預(yù)訓(xùn)練大模型來提升 NLP 任務(wù)的各項指標(biāo)，從而接近 AGI 的愿景。
為什么 OpenAI 能夠走出這條引領(lǐng)潮流的大模型差異化之路呢？
一方面是 NLP 的特殊之處。
NLP 不是魔術(shù)，但是，其結(jié)果有時幾乎就是魔術(shù)一般神奇。通用人工智能必須具備認(rèn)知智能，這也是目前制約人工智能取得更大突破和更廣泛應(yīng)用的關(guān)鍵瓶頸，而 NLP 正是認(rèn)知智能的核心。Geoffrey Hinton、Yann LeCun 都曾說過類似的觀點，深度學(xué)習(xí)的下一個大的進(jìn)展，應(yīng)該是讓神經(jīng)網(wǎng)絡(luò)真正理解文檔的內(nèi)容。
也就是說，當(dāng) AI 能理解自然語言了，AGI 可能就實現(xiàn)了。
另外，OpenAI 的運行模式也起到了關(guān)鍵的影響。
突破性創(chuàng)新早期需要大量的投入，大模型的開發(fā)需要大量的基礎(chǔ)設(shè)施投入，而 ChatGPT 的對話系統(tǒng)短期內(nèi)很難靠調(diào)用量的規(guī)模化來攤平研發(fā)成本。因此，OpenAI 是一個非營利性研究機構(gòu)，沒有迫切的商業(yè)化壓力，因此可以更專注于 NLP 領(lǐng)域的基礎(chǔ)研究，這是商業(yè)型 AI 公司所很難實現(xiàn)的。
2011 年，自然語言領(lǐng)域的泰斗肯尼斯?丘吉 (Kenneth Church) 發(fā)表了一篇長文《鐘擺擺得太遠(yuǎn)》(A Pendulum Swung Too Far)，其中提到：我們這一代學(xué)者趕上了經(jīng)驗主義的黃金時代，把唾手可得的低枝果實采摘下來，留給下一代的都是“難啃的硬骨頭”。
深度學(xué)習(xí)是經(jīng)驗主義的一個新高峰，而這個領(lǐng)域的低枝果實也總有摘完的一天，近年來有大量 AI 科學(xué)家發(fā)出警告，深度學(xué)習(xí)面臨很多局限性，單純用深度學(xué)習(xí)很難解決一些復(fù)雜任務(wù)，或許不用太久，基礎(chǔ)性突破就會成為 AI 產(chǎn)業(yè)的重要支撐。
GPT 的演進(jìn)也說明了，AI 的突破需要循序漸進(jìn)、從小到大地一步步實現(xiàn)，今天，每家 AI 企業(yè)和研究機構(gòu)都在做大模型，相比 CV 計算機視覺、數(shù)字人、元宇宙等 AI 應(yīng)用，NLP 要顯得暗淡很多。而如果一窩蜂去摘容易的果實，最終會制約 AI 深入產(chǎn)業(yè)的腳步。
ChatGPT 的出現(xiàn)提醒我們，唯有啃下基礎(chǔ)領(lǐng)域的硬骨頭，才能真正為 AI 帶來質(zhì)變。
本文來自微信公眾號：腦極體 （ID：unity007），作者：藏狐
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。