【新智元導(dǎo)讀】最近眾多網(wǎng)友反應(yīng) GPT-4 不好用了，后悔充值了。后來(lái)網(wǎng)友爆出 OpenAI 采用 MOE 重新設(shè)計(jì)了構(gòu)架，導(dǎo)致性能受到影響，但是官方一直沒(méi)有明確答復(fù)。
最近一段時(shí)間，很多 OpenAI 的用戶反應(yīng)，GPT-4 變傻了！
大家普遍認(rèn)為 GPT-4 從 5 月份開(kāi)始，生成內(nèi)容的速度變快了，但是內(nèi)容的質(zhì)量下降很?chē)?yán)重。
甚至有 OpenAI 論壇中的用戶把自己生成的內(nèi)容貼了出來(lái)，說(shuō)對(duì)比 2 個(gè)月前相同的 prompt 生成的內(nèi)容，現(xiàn)在 GPT-4 的能力最多能叫 GPT-3.6。
紛紛表態(tài)心疼自己出的這每個(gè)月的 20 刀。
不過(guò)看完這么多 GPT-4 重度用戶的吐槽之后，小編突然開(kāi)始感嘆：
GPT-4 確實(shí)是領(lǐng)先太多了。
領(lǐng)先程度已經(jīng)到了，其他家的大模型都在加班加點(diǎn)的幾天出一個(gè)更新版本，希望盡快趕上 OpenAI。
他自己家倒好，悄悄「降本增效」「反向升級(jí)」，當(dāng)起了大模型圈里的「反內(nèi)卷標(biāo)兵」。
可能導(dǎo)致性能衰退的原因
對(duì)于 GPT-4 表現(xiàn)降級(jí)，用戶似乎都已經(jīng)達(dá)成共識(shí)，已經(jīng)開(kāi)始討論 GPT-4「衰退」的原因了。
根據(jù)外媒報(bào)道，有些語(yǔ)言模型領(lǐng)域內(nèi)的專(zhuān)家猜測(cè)，OpenAI 正在創(chuàng)建多個(gè)行為類(lèi)似于大型模型但運(yùn)行成本較低的小型 GPT-4 模型。
根據(jù)一個(gè)名叫 Sharon Zhou 的專(zhuān)家的說(shuō)法，OpenAI 采用了一種稱(chēng)為「混合專(zhuān)家模型」（Mixture of Experts，MOE）的構(gòu)架來(lái)搭建 GPT-4。
每個(gè)較小的專(zhuān)家模型都在不同的任務(wù)和主題領(lǐng)域進(jìn)行訓(xùn)練。
可能會(huì)有一個(gè)專(zhuān)門(mén)針對(duì)生物學(xué)的迷你 GPT-4 模型，或者其他專(zhuān)門(mén)針對(duì)物理、化學(xué)等領(lǐng)域的迷你模型。
當(dāng)一個(gè) GPT-4 用戶提問(wèn)時(shí)，新系統(tǒng)判斷之后會(huì)把提示發(fā)送給某一個(gè)或者幾個(gè)專(zhuān)家模型。
「這個(gè)思路已經(jīng)存在一段時(shí)間了，這是一個(gè)自然的發(fā)展方向。」Zhou 說(shuō)。
Zhou 將這種情況比作「忒修斯之船」，船上的各個(gè)部件被逐漸更換，整條船慢慢變成了一條新船。
她說(shuō)：「OpenAI 正在將 GPT-4 變成一支由小型船只組成的船隊(duì)。
從我的角度來(lái)看，這是一個(gè)新模型，但是可能很多人也不會(huì)在意這個(gè)變化?！?/p>
在本周網(wǎng)上泄露了關(guān)于 GPT-4 大量參數(shù)細(xì)節(jié)之后，很多大佬們也針對(duì)里面提到的 MoE 部分給出了自己的評(píng)價(jià)。
Allen 人工智能研究所創(chuàng)始首席執(zhí)行官 Oren Etzioni 在外媒的采訪中寫(xiě)到：「我覺(jué)得這些猜測(cè)大致是準(zhǔn)確的，雖然沒(méi)有辦法確切證實(shí)?！?/p>
他解釋說(shuō)，使用 MOE 有兩個(gè)主要原因：更好的生成響應(yīng)和更便宜、更快的響應(yīng)。
Etzioni 補(bǔ)充說(shuō)：「正確的搭配混合專(zhuān)家模型將同時(shí)保證這兩方面的優(yōu)勢(shì)，但和任何事情一樣，成本和質(zhì)量之間通常是需要取舍的?！?/p>
如果這種假設(shè)成立的話，OpenAI 在降低成本方面可能確實(shí)犧牲了一些質(zhì)量。
另一個(gè)佐證就是，OpenAI 的創(chuàng)始人 Greg Brockman 曾在自己共同參與的研究中提到了 MOE 這一技術(shù)路徑。
「通過(guò)混合專(zhuān)家模型的（MoE）方法，每次只使用網(wǎng)絡(luò)的一小部分來(lái)計(jì)算任何一個(gè)輸入的輸出。這可以在不增加計(jì)算成本的情況下增加更多參數(shù)?！笲rockman 和他的同事 Lilian Weng 在論文中寫(xiě)道。
性能下降可能和消除有害內(nèi)容有關(guān)
除了大佬從技術(shù)層面的解析外，網(wǎng)友也紛紛從各個(gè)角度進(jìn)行揣測(cè)。
有些網(wǎng)友覺(jué)得可能是 OpenAI 相對(duì)保守的道德政策降低了模型回復(fù)的質(zhì)量。
在 OpenAI 官方論壇中 GPT 相關(guān)的子版塊，那些認(rèn)為 ChatGPT 的性能遭到了「降級(jí)」的帖子中，許多人提到了 ChatGPT 在 OpenAI 采取新的內(nèi)容限制之前對(duì)于 Prompt 的包容性有了很大的變化。
側(cè)面支持了 OpenAI 可能出于安全性的考慮，控制了模型的輸出能力和范圍的觀點(diǎn)。
在 YCombinator 的討論中，有網(wǎng)友提出，從 OpenAI 開(kāi)始宣布關(guān)注安全問(wèn)題以后，模型的表現(xiàn)就越來(lái)越糟糕。
以 GPT-4 在最初發(fā)布報(bào)告中，讓 GPT-4 使用 TikZ（TikZ 可能是在 LaTex 中創(chuàng)建圖形元素的最復(fù)雜，最強(qiáng)大的工具）繪制獨(dú)角獸這一任務(wù)為例，在后續(xù)發(fā)布的 GPT-4 中難以復(fù)現(xiàn)報(bào)告上的結(jié)果，而且表現(xiàn)也越來(lái)越差。
另一方面，網(wǎng)友認(rèn)為 GPT-4 性能衰退的原因，可能是人類(lèi)出于安全考慮向 GPT-4 灌輸了一套相互矛盾的信念。
而這種為了安全選擇消除「壞念頭」的做法，顯而易見(jiàn)會(huì)阻止 GPT-4 對(duì)事物更加深刻的認(rèn)識(shí)和理解。
事實(shí)上，OpenAI 設(shè)置了各種過(guò)濾器來(lái)防止惡意行為，例如暴力，種族主義或仇恨言論。
但是，這些過(guò)濾器通常會(huì)干擾正常的使用，例如小說(shuō)寫(xiě)作、思想頭腦風(fēng)暴以及其他形式的創(chuàng)作。
雖然很難衡量這些變化的影響，但 OpenAI 的創(chuàng)始人 Sam Altman 承認(rèn)了政策限制會(huì)干擾用戶體驗(yàn)。
除此之外，在 5 月 29 日 Humanloop 聯(lián)合創(chuàng)始人 Raza 與 Sam Altman 的對(duì)話中，Altman 提到了 OpenAI 目前嚴(yán)重受到 GPU 數(shù)量的限制。
在 ChatGPT 突破了 1 億用戶大關(guān)、月活達(dá)到 18 億次的情形下，OpenAI 的服務(wù)器經(jīng)常超負(fù)荷運(yùn)轉(zhuǎn)。
而算力的緊缺不僅推遲了他們?cè)S多短期計(jì)劃，也導(dǎo)致了許多來(lái)自客戶對(duì) GPT 回答內(nèi)容可靠性的抱怨和爭(zhēng)議。
也許原因在這屆網(wǎng)友身上？
在官方技術(shù)發(fā)言人 Logan.GPT 的回應(yīng)中，表明了 GPT-4 在 API 模式中質(zhì)量并沒(méi)有下降。
而就在昨天，OpenAI 產(chǎn)品副總裁 Peter Welinder 評(píng)論了這一傳言。
「不，我們沒(méi)有讓 GPT-4 變笨，恰恰相反：我們讓每個(gè)新版本都比前一個(gè)版本更聰明?！?/p>
對(duì)于網(wǎng)友提出的問(wèn)題，他的理解是，「當(dāng)你更多地使用它時(shí)，你會(huì)開(kāi)始注意到以前沒(méi)有注意到的問(wèn)題?！?/p>
言下之意是，GPT-4 本來(lái)就沒(méi)之前那么強(qiáng)，現(xiàn)在的 GPT-4 才是它真正的實(shí)力。
有那么一絲凡爾賽的感覺(jué)。
果然網(wǎng)友不是很買(mǎi)賬，在推文下不?；貞?。
你說(shuō)你沒(méi)改過(guò)，然后又說(shuō)每個(gè)版本都更好了，不是自相矛盾嗎？
你說(shuō)的這個(gè)假設(shè)不成立，同樣的提示詞 7 月的回答就是比 6 月的差！
不過(guò)，確實(shí)有網(wǎng)友對(duì) GPT-4 的性能衰退也有不同的解釋?zhuān)?/p>
從感知退化的心理學(xué)角度來(lái)說(shuō)，在 GPT-4 初次曝光帶給人們的驚喜消失，并逐漸深入我們?nèi)粘Ｉ钍褂煤螅藗兙蜁?huì)對(duì)它的能力習(xí)以為常。
新鮮勁兒一過(guò)，用戶對(duì)其的容忍度也隨之降低，轉(zhuǎn)而更加關(guān)注技術(shù)和使用上的缺陷。
此外，在 Reddit 上發(fā)帖認(rèn)為 GPT-4 性能衰退的網(wǎng)友，在最近的更新中表明，那天的提問(wèn)可能是受到了心態(tài)的影響，因?yàn)樵谶@之后的 GPT-4 工作一直都很順利。
參考資料：
https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。