GPT-4 的圖形推理能力，竟然連人類的一半都不到？
美國圣塔菲研究所的一項(xiàng)研究顯示，GPT-4 做圖形推理題的準(zhǔn)確率僅有 33%。
而具有多模態(tài)能力的 GPT-4v 表現(xiàn)更糟糕，只能做對(duì) 25% 的題目。
△ 虛線表示 16 項(xiàng)任務(wù)的平均表現(xiàn)
這項(xiàng)實(shí)驗(yàn)結(jié)果發(fā)表后，迅速在 YC 上引發(fā)了廣泛熱議。
贊同這項(xiàng)結(jié)果的網(wǎng)友表示，GPT 確實(shí)不擅長抽象圖形處理，“位置”“旋轉(zhuǎn)”等概念理解起來更加困難。
但另一邊，不少網(wǎng)友對(duì)這個(gè)結(jié)論也有所質(zhì)疑，簡單說就是：
不能說是錯(cuò)的，但說完全正確也無法讓人信服。
至于具體的原因，我們繼續(xù)往下看。
GPT-4 準(zhǔn)確率僅 33%
為了評(píng)估人類和 GPT-4 在這些圖形題上的表現(xiàn)，研究者使用了自家機(jī)構(gòu)于今年 5 月推出的 ConceptARC 數(shù)據(jù)集。
ConceptARC 中一共包括 16 個(gè)子類的圖形推理題，每類 30 道，一共 480 道題目。
這 16 個(gè)子類涵蓋了位置關(guān)系、形狀、操作、比較等多個(gè)方面的內(nèi)容。
具體而言，這些題目都是由一個(gè)個(gè)像素塊組成的，人類和 GPT 需要根據(jù)給定的示例尋找出規(guī)律，分析出圖像經(jīng)過相同方式處理后的結(jié)果。
作者在論文中具體展示了這 16 個(gè)子類的例題，每類各一道。
結(jié)果 451 名人類受試者平均正確率，在各子項(xiàng)中均不低于 83%，16 項(xiàng)任務(wù)再做平均，則達(dá)到了 91%。
而 GPT-4（單樣本）在“放水”到一道題可以試三次（有一次對(duì)就算對(duì)）的情況下，準(zhǔn)確率最高不超過 60%，平均值只有 33%。
早些時(shí)候，這項(xiàng)實(shí)驗(yàn)涉及的 ConceptARC Benchmark 的作者也做過類似的實(shí)驗(yàn)，不過在 GPT-4 中進(jìn)行的是零樣本測試，結(jié)果 16 項(xiàng)任務(wù)的平均準(zhǔn)確率只有 19%。
而多模態(tài)的 GPT-4v，準(zhǔn)確率反而更低，在一個(gè) 48 道題組成的小規(guī)模 ConceptARC 數(shù)據(jù)集中，零樣本和單樣本測試的準(zhǔn)確率分別只有 25% 和 23%
而研究者在進(jìn)一步分析了錯(cuò)誤答案后，發(fā)現(xiàn)人類的有些錯(cuò)誤看上去很可能是“粗心導(dǎo)致”，而 GPT 則是完全沒有理解題目中的規(guī)律。
針對(duì)這些數(shù)據(jù)，網(wǎng)友們普遍沒什么疑問，但讓這個(gè)實(shí)驗(yàn)備受質(zhì)疑的，是招募到的受試人群和給 GPT 的輸入方式。
受試者選擇方式遭質(zhì)疑
一開始，研究者在亞馬遜的一個(gè)眾包平臺(tái)上招募受試者。
研究者從數(shù)據(jù)集中抽取了一些簡單題目作為入門測試，受試者需要答對(duì)隨機(jī) 3 道題目中的至少兩道才能進(jìn)入正式測試。
結(jié)果研究人員發(fā)現(xiàn)，入門測試的結(jié)果顯示，有人只是想拿錢，但根本不按要求做題。
迫不得已，研究者將參加測試的門檻上調(diào)到了在平臺(tái)上完成過不少于 2000 個(gè)任務(wù)，且通過率要達(dá)到 99%。
不過，雖然作者用通過率篩人，但是在具體能力上，除了需要受試者會(huì)英語，對(duì)圖形等其他專業(yè)能力“沒有特殊要求”。
而為了數(shù)據(jù)的多樣化，研究者在實(shí)驗(yàn)后期又將招募工作轉(zhuǎn)到了另一個(gè)眾包平臺(tái)，最終 一共有 415 名受試者參與了實(shí)驗(yàn)。
盡管如此，還是有人質(zhì)疑實(shí)驗(yàn)中的樣本“不夠隨機(jī)”。
還有網(wǎng)友指出，研究者用來招募受試者的亞馬遜眾包平臺(tái)上，有大模型在冒充人類。
再來看 GPT 這邊的操作，多模態(tài)版本比較簡單，直接傳圖然后用這樣的提示詞就可以了：
零樣本測試中，則只要去掉相應(yīng)的 EXAMPLE 部分。
但對(duì)于不帶多模態(tài)的純文本版 GPT-4（0613），則需要把圖像轉(zhuǎn)化為格點(diǎn)，用數(shù)字來代替顏色。
針對(duì)這種操作，就有人表示不認(rèn)同了：
把圖像轉(zhuǎn)換成數(shù)字矩陣后，概念完全變了，就算是人類，看著用數(shù)字表示的“圖形”，可能也無法理解
One More Thing
無獨(dú)有偶，斯坦福的華人博士生 Joy Hsu 也用幾何數(shù)據(jù)集測試了 GPT-4v 對(duì)圖形的理解能力。
這個(gè)數(shù)據(jù)集發(fā)表于去年，目的是測試大模型對(duì)歐氏幾何的理解，GPT-4v 開放后，Hsu 又用這套數(shù)據(jù)集給它測試了一遍。
結(jié)果發(fā)現(xiàn)，GPT-4v 對(duì)圖形的理解方式，似乎“和人類完全不同”。
數(shù)據(jù)上，GPT-4v 對(duì)這些幾何問題的回答也明顯不如人類。
論文地址：
[1]https://arxiv.org/abs/2305.07141
[2]https://arxiv.org/abs/2311.09247
參考鏈接：
[1]https://news.ycombinator.com/item?id=38331669
[2]https://twitter.com/joycjhsu/status/1724180191470297458
本文來自微信公眾號(hào)：量子位 （ID：QbitAI），作者：克雷西
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。