設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

開(kāi)源大模型新王 Reflection 70B 超越 GPT-4o:新技術(shù)可糾正自己幻覺(jué),數(shù)學(xué) 99.2 分刷爆測(cè)試集

量子位 2024/9/6 23:44:30 責(zé)編:清源

開(kāi)源大模型王座突然易主,居然來(lái)自一家小創(chuàng)業(yè)團(tuán)隊(duì),瞬間引爆業(yè)界。

新模型名為 Reflection 70B,使用一種全新訓(xùn)練技術(shù),讓 AI 學(xué)會(huì)在推理過(guò)程中糾正自己的錯(cuò)誤和幻覺(jué)。

比如最近流行的數(shù) r 測(cè)試中,一開(kāi)始它犯了和大多數(shù)模型一樣的錯(cuò)誤,但主動(dòng)在 <反思> 標(biāo)簽中糾正了自己。

在官方評(píng)測(cè)中,70B 模型全面超越最強(qiáng)開(kāi)源 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemini 1.5 Pro,特別是數(shù)學(xué)基準(zhǔn) GSM8K 上直接刷爆,得分 99.2%。

這個(gè)結(jié)果也讓 OpenAI 科學(xué)家、德?lián)?AI 之父 Noam Brown 激情開(kāi)麥:

GSM8K 得分 99%!是不是可以正式淘汰這個(gè)基準(zhǔn)了?

模型剛剛上線網(wǎng)友就把試玩擠爆了,對(duì)此 Meta 還主動(dòng)支援了更多算力。

在網(wǎng)友測(cè)試中,Reflection 70B 能回答對(duì) GSM8K 數(shù)據(jù)集中本身答案錯(cuò)誤的問(wèn)題:

我向模型提供了 GSM8K 中存在的 5 個(gè)“ground_truth”本身就不正確的問(wèn)題。

模型沒(méi)有重復(fù)數(shù)據(jù)集中的錯(cuò)誤答案,而是全部回答對(duì)了,這很令人印象深刻,表明那 99.2% 的準(zhǔn)確率并非來(lái)自于記憶測(cè)試集!

數(shù)各種 r 都不在話下,連生造詞“drirrrngrrrrrnnn”中有幾個(gè) r 也能被正確數(shù)對(duì)。

網(wǎng)友紛紛對(duì)小團(tuán)隊(duì)做出的開(kāi)源超越頂流閉源感到驚訝,現(xiàn)在最強(qiáng)開(kāi)源模型可以在本地運(yùn)行了。

關(guān)鍵 70B 還只是個(gè)開(kāi)始,官方表示下周還會(huì)發(fā)布更大的 Reflection 405B。

預(yù)計(jì) 405B 性能將大幅優(yōu)于 Sonnet 和 GPT-4o。

Reflection 70B 權(quán)重已公開(kāi),API 訪問(wèn)將于今天晚些時(shí)候由 Hyperbolic Labs 提供。

模型能自我反思糾正錯(cuò)誤

目前關(guān)于 Reflection 70B 的更多細(xì)節(jié)如下。

Reflection 70B 能力提升的關(guān)鍵,是采用了一種名為 Reflection-Tuning 的訓(xùn)練方法,它能夠讓模型反思自己生成的文本,在最終確定回應(yīng)前檢測(cè)并糾正自身推理中的錯(cuò)誤。

訓(xùn)練中的數(shù)據(jù)來(lái)自使用 GlaiveAI 平臺(tái)生成的合成數(shù)據(jù)。

Reflection 70B 基于 Llama 3.1 70B Instruct,可以使用與其它 Llama 模型相同的代碼、pipeline 等從 Reflection Llama-3.1 70B 進(jìn)行采樣。

它甚至使用了標(biāo)準(zhǔn)的 Llama 3.1 聊天格式。

不過(guò),Reflection 70B 引入了一些特殊 tokens,結(jié)構(gòu)化輸出過(guò)程。

如下面這個(gè)例子所展示的,規(guī)劃過(guò)程分為一個(gè)獨(dú)立的步驟,這樣做可以提高 CoT 效果,并保持輸出精煉:

模型將從在 <thinking> 和 </thinking> 標(biāo)簽內(nèi)輸出推理開(kāi)始,一旦對(duì)其推理感到滿意,就會(huì)在 <output> 和 </output > 標(biāo)簽內(nèi)輸出最終答案。

所以它能夠?qū)⑵鋬?nèi)部思考和推理與最終答案分離。

在 <thinking> 部分,模型可能會(huì)輸出一個(gè)或多個(gè),這表明模型發(fā)現(xiàn)了其推理中的錯(cuò)誤,并將在提供最終答案之前嘗試糾正該錯(cuò)誤。

系統(tǒng)提示如下:

You are a world-class AI system, capable of complex reasoning and reflection. Reason through the query inside tags, and then provide your final response inside tags. If you detect that you made a mistake in your reasoning at any point, correct yourself inside tags.

(你是一個(gè)世界級(jí)人工智能系統(tǒng),能夠進(jìn)行復(fù)雜的推理和反思。在標(biāo)簽內(nèi)對(duì)查詢進(jìn)行推理,然后在標(biāo)簽內(nèi)提供你的最終回應(yīng)。如果你發(fā)現(xiàn)自己在任何時(shí)候推理出錯(cuò),請(qǐng)?jiān)跇?biāo)簽內(nèi)糾正自己。)

此外值得一提的是,基準(zhǔn)測(cè)試中,所有基準(zhǔn)都已通過(guò) LMSys 的 LLM Decontaminator 檢查污染,隔離了 <output> 部分,并單獨(dú)對(duì)這一部分進(jìn)行測(cè)試。

使用 Reflection 70B 的時(shí)候,官方還分享了小 tips:

初步建議參數(shù) temperature 為.7 ,top_p 為.95

為提高準(zhǔn)確性,最好附加“Think carefully.”在 Prompt 末尾

官方還表示,下周會(huì)發(fā)布一份報(bào)告,詳細(xì)介紹模型訓(xùn)練過(guò)程和發(fā)現(xiàn)。

Agent 創(chuàng)業(yè)團(tuán)隊(duì)打造

Reflection 70B 的背后是一支小團(tuán)隊(duì),由 HyperWriteAI 的 CEO Mutt Shumer 帶領(lǐng)。

領(lǐng)英顯示,Mutt Shumer 是一位連續(xù)創(chuàng)業(yè)者,畢業(yè)于美國(guó)錫拉丘茲大學(xué),現(xiàn)任 OthersideAI 的聯(lián)合創(chuàng)始人兼 CEO。

OthersideAI 是一家 AI 應(yīng)用公司,致力于通過(guò)大規(guī)模 AI 系統(tǒng)開(kāi)發(fā)全球最先進(jìn)的自動(dòng)補(bǔ)全工具,也是 HyperWrite 的幕后公司。

HyperWrite 是一個(gè)瀏覽器操作 agent,可以像人一樣操作谷歌瀏覽器來(lái)完成一系列任務(wù),比如訂披薩:

和 gpt-llm-trainer 一樣,你只需要用文字描述目標(biāo),它就會(huì)一邊列步驟,一邊執(zhí)行。

剛推出時(shí)號(hào)稱“比 AutoGPT 強(qiáng)”。

HyperWrite 還可以在谷歌擴(kuò)展程序中安裝。

另外,Mutt Shumer 高中時(shí)期就創(chuàng)立了 Visos,致力于開(kāi)發(fā)用于醫(yī)療用途的下一代虛擬現(xiàn)實(shí)軟件。

還創(chuàng)立了 FURI,這是一家旨在通過(guò)創(chuàng)造高性能產(chǎn)品并以公平的價(jià)格銷售它們來(lái)顛覆體育用品行業(yè)的公司。

雖然有 Meta 支持,但目前打開(kāi)試玩,還是:暫時(shí)無(wú)法訪問(wèn)。

感興趣的童鞋可以先碼住了~

https://reflection-playground-production.up.railway.app/ 

參考鏈接:

  • [1]https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B

  • [2]https://x.com/mattshumer_/status/1831767014341538166

  • [3]https://x.com/polynoamial/status/1831798985528635806

  • [4]https://x.com/degeneratoor/status/1831809610451448196

  • [5]https://x.com/kimmonismus/status/1831772661296345333

本文來(lái)自微信公眾號(hào):量子位(ID:QbitAI),作者:西風(fēng),原標(biāo)題:《開(kāi)源大模型新王干翻 GPT-4o,新技術(shù)可糾正自己幻覺(jué),數(shù)學(xué) 99.2 分刷爆測(cè)試集》

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:Reflection 70B,大模型

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知