大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？
這么一項(xiàng)新研究，剛一發(fā)表就引燃了全場(chǎng)討論。
來(lái)自范德堡大學(xué)、薩塞克斯大學(xué)、牛津大學(xué)等研究機(jī)構(gòu)的研究人員驚訝地發(fā)現(xiàn)：
一個(gè)大語(yǔ)言模型在訓(xùn)練時(shí)被喂進(jìn)了“A 是 B”這種形式的數(shù)據(jù)，它并不會(huì)自動(dòng)反推出“B 是 A”。大模型存在“反轉(zhuǎn)詛咒”現(xiàn)象。
甚至強(qiáng)如 GPT-4，在反向問(wèn)題實(shí)驗(yàn)中，正確率也只有 33%。
OpenAI 創(chuàng)始成員 Andrej Karpathy 第一時(shí)間轉(zhuǎn)發(fā)了這篇論文，并評(píng)論說(shuō)：
LLM 知識(shí)比人們想象中“零散”得多，我對(duì)此仍然沒(méi)有很好的直覺(jué)。
這具體是怎么一回事？
大模型的“反轉(zhuǎn)詛咒”
研究人員主要進(jìn)行了兩項(xiàng)實(shí)驗(yàn)。
在第一項(xiàng)實(shí)驗(yàn)中，研究人員在 GPT-4 的幫助下構(gòu)建了以下形式的數(shù)據(jù)，來(lái)微調(diào)大模型。
<name> is <description> .（或者反過(guò)來(lái)）
所有這些名字都是虛構(gòu)的，以避免大模型在訓(xùn)練過(guò)程中見(jiàn)過(guò)他們。
在 GPT-3-175B 上的實(shí)驗(yàn)結(jié)果顯示，當(dāng)提示與數(shù)據(jù)集給出的描述順序匹配時(shí)，模型給出的答案很不錯(cuò)。
但當(dāng)順序反轉(zhuǎn)過(guò)來(lái)，模型的準(zhǔn)確率甚至直接降到了 0。
舉個(gè)例子，就是大模型吃到過(guò)“達(dá)芙妮是《時(shí)光之旅》的導(dǎo)演”這么一條數(shù)據(jù)，你問(wèn)它“達(dá)芙妮是誰(shuí)”時(shí)，它也答得好好的。但當(dāng)你反過(guò)來(lái)問(wèn)“誰(shuí)是《時(shí)光之旅》的導(dǎo)演”時(shí)，模型就懵了。
在 GPT-3-350M 和 Llama-7B 上，研究人員也得到了相同的實(shí)驗(yàn)結(jié)果。
再來(lái)看實(shí)驗(yàn) 2。在這項(xiàng)實(shí)驗(yàn)中，研究人員在不進(jìn)行任何微調(diào)的情況下，測(cè)試了大語(yǔ)言模型對(duì)真實(shí)名人信息的反向處理能力。
他們從 IMDB（2023）收集了最受歡迎的 1000 位名人的名單，并通過(guò) OpenAI API 來(lái)問(wèn) GPT-4 有關(guān)這些人父母的信息，最終得到了 1573 對(duì)名人孩子-父母對(duì)數(shù)據(jù)。
結(jié)果發(fā)現(xiàn)，如果問(wèn)題像這樣 ——“湯姆?克魯斯的媽媽叫什么”，GPT-4 回答準(zhǔn)確率為 79%。但當(dāng)問(wèn)題反轉(zhuǎn)，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4 回答準(zhǔn)確率就降到了 33%。
在 Llama-1 家族模型上，研究人員也進(jìn)行了同樣的測(cè)試。實(shí)驗(yàn)中，所有模型回答“父母是誰(shuí)”問(wèn)題的準(zhǔn)確率，都要遠(yuǎn)高于回答“孩子是誰(shuí)”問(wèn)題的準(zhǔn)確率。
研究人員將這種現(xiàn)象命名為“反轉(zhuǎn)詛咒”。他們認(rèn)為，這揭示了語(yǔ)言模型在推理和泛化方面的異類進(jìn)本局限。
論文通訊作者、牛津大學(xué)研究員 Owain Evans 解釋說(shuō)：
為什么反轉(zhuǎn)詛咒值得關(guān)注？
這說(shuō)明大語(yǔ)言模型在訓(xùn)練過(guò)程中存在推理能力缺失。
“A 是 B”和“B 是 A”的共現(xiàn)是預(yù)訓(xùn)練集中的一種系統(tǒng)性模式。自回歸 LLM 完全無(wú)法對(duì)這一模式進(jìn)行元學(xué)習(xí)，其對(duì)數(shù)概率沒(méi)有變化，并且即使參數(shù)量從 350M 擴(kuò)增到 175B，也未能改善這個(gè)問(wèn)題。
One More Thing
不過(guò)話說(shuō)回來(lái)，人類是不是也會(huì)受“反轉(zhuǎn)詛咒”影響呢？
有網(wǎng)友做了這么個(gè)測(cè)試。
面對(duì)“Mary Lee Pfeiffer South 的兒子是誰(shuí)”這個(gè)問(wèn)題，GPT-4 一開始直接舉旗投降了。
但當(dāng)這位網(wǎng)友提示它“她的兒子很有名，你肯定認(rèn)識(shí)”后，GPT-4 當(dāng)場(chǎng)開悟，給出了“湯姆?克魯斯”這個(gè)正確答案。
那么，你能反應(yīng)過(guò)來(lái)嗎？
參考鏈接：
[1]https://owainevans.github.io/reversal_curse.pdf
[2]https://twitter.com/owainevans_uk/status/1705285631520407821
[3]https://twitter.com/karpathy/status/1705322159588208782
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。