IT之家 9 月 7 日消息,斯坦福大學(xué)的一項新研究發(fā)現(xiàn),熱門生成式人工智能(AI)聊天機器人 ChatGPT 的能力在幾個月內(nèi)有所波動。
斯坦福大學(xué)的團隊評估了 ChatGPT 在幾個月內(nèi)如何處理不同的任務(wù)。他們發(fā)現(xiàn),ChatGPT 的能力隨時間的推移而出現(xiàn)了不一致。目前,ChatGPT 有兩個版本 —— 免費的 GPT-3.5 模型和更智能、更快速的付費 GPT-4 版本。 研究人員發(fā)現(xiàn),GPT-4 在 3 月份能夠有效地解決數(shù)學(xué)問題,識別質(zhì)數(shù)的準(zhǔn)確率為 97.6%。三個月后,其準(zhǔn)確率下降到了 2.4%。而另一方面,GPT-3.5 卻變得更好,從 7.4% 的準(zhǔn)確率提高到了 86.8%。
研究人員還注意到,在編寫代碼和視覺推理方面也有類似的波動。斯坦福大學(xué)計算機科學(xué)教授 James Zou 稱:“當(dāng)我們調(diào)整一個大型語言模型來提高它在某些任務(wù)上的表現(xiàn)時,那可能會有很多意想不到的后果,可能會損害這個模型在其他任務(wù)上的表現(xiàn)…… 這個模型回答問題的方式有各種各樣的相互依賴性,這可能導(dǎo)致我們觀察到的一些惡化行為?!?/p>
研究人員認(rèn)為,結(jié)果并不能真正反映 ChatGPT 性能的準(zhǔn)確性狀態(tài),而是顯示了微調(diào)模型帶來的意外后果。本質(zhì)上,當(dāng)修改模型的一部分來改善一個任務(wù)時,其他任務(wù)可能會受到影響。為什么會這樣很難確定,因為沒有人知道 ChatGPT 是如何運作的,而且它的代碼也不是開源的。
隨著時間的推移,研究人員注意到,ChatGPT 的回答不僅變得不太準(zhǔn)確,而且還停止了解釋其推理過程。
由于 ChatGPT 的運作方式,要研究和衡量它的表現(xiàn)可能很困難,這項研究強調(diào)了觀察和評估驅(qū)動 ChatGPT 等工具的大型語言模型(LLM)性能變化的必要性。該研究已經(jīng)在 arXiv 上發(fā)布,并正在等待同行評審,IT之家附鏈接在此。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。