設置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

UC 伯克利發(fā)布大語言模型排行榜,Vicuna 奪冠,清華 ChatGLM 進前 5

新智元 2023/5/5 11:55:09 責編:夢澤

萬萬沒想到,現(xiàn)在大語言模型們也要像王者榮耀 / LoL / Dota 這些游戲里的玩家一樣打排位賽了!據(jù)說,那些閉源模型們很快也會被拉出來溜溜。

最近,來自 LMSYS Org(UC 伯克利主導)的研究人員又搞了個大新聞 —— 大語言模型版排位賽!

顧名思義,「LLM 排位賽」就是讓一群大語言模型隨機進行 battle,并根據(jù)它們的 Elo 得分進行排名。

然后,我們就能一眼看出,某個聊天機器人到底是「嘴強王者」還是「最強王者」。

劃重點:團隊還計劃把國內和國外的這些「閉源」模型都搞進來,是騾子是馬溜溜就知道了?。℅PT-3.5 現(xiàn)在就已經(jīng)在匿名競技場里了)

匿名聊天機器人競技場長下面這樣:

很明顯,模型 B 回答正確,拿下這局;而模型 A 連題都沒讀懂……

項目地址:https://arena.lmsys.org/

在當前的排行榜中,130 億參數(shù)的 Vicuna 以 1169 分穩(wěn)居第一,同樣 130 億參數(shù)的 Koala 位列第二,LAION 的 Open Assistant 排在第三。

清華提出的 ChatGLM,雖然只有 60 億參數(shù),但依然沖進了前五,只比 130 億參數(shù)的 Alpaca 落后了 23 分。

相比之下,Meta 原版的 LLaMa 只排到了第八(倒數(shù)第二),而 Stability AI 的 StableLM 則獲得了唯一的 800 + 分,排名倒數(shù)第一。

團隊表示,之后不僅會定期更新排位賽榜單,而且還會優(yōu)化算法和機制,并根據(jù)不同的任務類型提供更加細化的排名。

目前,所有的評估代碼以及數(shù)據(jù)分析均已公布。

拉著 LLM 打排位

在這次的評估中,團隊選擇了目前比較出名的 9 個開源聊天機器人。

每次 1v1 對戰(zhàn),系統(tǒng)都會隨機拉兩個上場 PK。用戶則需要同時和這兩個機器人聊天,然后決定哪個聊天機器人聊的更好。

可以看到,頁面下面有 4 個選項,左邊(A)更好,右邊(B)更好,一樣好,或者都很差。

當用戶提交投票之后,系統(tǒng)就會顯示模型的名稱。這時,用戶可以繼續(xù)聊天,或者選擇新的模型重新開啟一輪對戰(zhàn)。

不過,團隊在分析時,只會采用模型是匿名時的投票結果。在經(jīng)過差不多一周的數(shù)據(jù)收集之后,團隊共收獲了 4.7k 個有效的匿名投票。

在開始之前,團隊先根據(jù)基準測試的結果,掌握了各個模型可能的排名。

根據(jù)這個排名,團隊會讓模型去優(yōu)先選擇更合適的對手。

然后,再通過均勻采樣,來獲得對排名的更好總體覆蓋。

在排位賽結束時,團隊又引入了一種新模型 fastchat-t5-3b。

以上這些操作最終導致了非均勻的模型頻率。

每個模型組合的對戰(zhàn)次數(shù)

從統(tǒng)計數(shù)據(jù)來看,大多數(shù)用戶所用的都是英語,中文排在第二位。

排名前 15 的語言的對戰(zhàn)次數(shù)

評估 LLM,真的很難

自從 ChatGPT 爆火之后,經(jīng)過指令跟隨微調的開源大語言模型如雨后春筍一般大量涌現(xiàn)??梢哉f,幾乎每周都有新的開源 LLM 在發(fā)布。

但問題是,評估這些大語言模型非常難。

具體來說,目前用來衡量一個模型好不好的東西基本都是基于一些學術的 benchmark,比如在一個某個 NLP 任務上構建一個測試數(shù)據(jù)集,然后看測試數(shù)據(jù)集上準確率多少。

然而,這些學術 benchmark(如 HELM)在大模型和聊天機器人上就不好用了。其原因在于:

1. 由于評判聊天機器人聊得好不好這件事是非常主觀的,因此現(xiàn)有的方法很難對其進行衡量。

2. 這些大模型在訓練的時候就幾乎把整個互聯(lián)網(wǎng)的數(shù)據(jù)都掃了一個遍,因此很難保證測試用的數(shù)據(jù)集沒有被看到過。甚至更進一步,用測試集直接對模型進行「特訓」,如此一來表現(xiàn)必然更好。

3. 理論上我們可以和聊天機器人聊任何事情,但很多話題或者任務在現(xiàn)存的 benchmark 里面根本就不存在。

那如果不想采用這些 benchmark 的話,其實還有一條路可以走 —— 花錢請人來給模型打分。

實際上,OpenAI 就是這么搞的。但是這個方法明顯很慢,而且更重要的是,太貴了……

為了解決這個棘手的問題,來自 UC 伯克利、UCSD、CMU 的團隊發(fā)明了一種既好玩又實用的全新機制 —— 聊天機器人競技場(Chatbot Arena)。

相比而言,基于對戰(zhàn)的基準系統(tǒng)具有以下優(yōu)勢:

  • 可擴展性(Scalability)

當不能為所有潛在的模型對收集足夠的數(shù)據(jù)時,系統(tǒng)應能擴展到盡可能多的模型。

  • 增量性(Incrementality)

系統(tǒng)應能夠使用相對較少的試驗次數(shù)評估新模型。

  • 唯一順序(Unique order)

系統(tǒng)應為所有模型提供唯一順序。給定任意兩個模型,我們應該能夠判斷哪個排名更高或它們是否并列。

Elo 評分系統(tǒng)

Elo 等級分制度(Elo rating system)是一種計算玩家相對技能水平的方法,廣泛應用在競技游戲和各類運動當中。其中,Elo 評分越高,那么就說明這個玩家越厲害。

比如英雄聯(lián)盟、Dota 2 以及吃雞等等,系統(tǒng)給玩家進行排名的就是這個機制。

舉個例子,當你在英雄聯(lián)盟里面打了很多場排位賽后,就會出現(xiàn)一個隱藏分。這個隱藏分不僅決定了你的段位,也決定了你打排位時碰到的對手基本也是類似水平的。

而且,這個 Elo 評分的數(shù)值是絕對的。也就是說,當未來加入新的聊天機器人時,我們依然可以直接通過 Elo 的評分來判斷哪個聊天機器人更厲害。

具體來說,如果玩家 A 的評分為 Ra,玩家 B 的評分為 Rb,玩家 A 獲勝概率的精確公式(使用以 10 為底的 logistic 曲線)為:

然后,玩家的評分會在每場對戰(zhàn)后線性更新。

假設玩家 A(評分為 Ra)預計獲得 Ea 分,但實際獲得 Sa 分。更新該玩家評分的公式為:

1v1 勝率

此外,作者還展示了排位賽中每個模型的對戰(zhàn)勝率以及使用 Elo 評分估算的預測對戰(zhàn)勝率。

結果顯示,Elo 評分確實可以相對準確地進行預測

所有非平局 A 對 B 戰(zhàn)斗中模型 A 勝利的比例

在 A 對 B 戰(zhàn)斗中,使用 Elo 評分預測的模型 A 的勝率

作者介紹

「聊天機器人競技場」由前小羊駝作者機構 LMSYS Org 發(fā)布。

該機構由 UC 伯克利博士 Lianmin Zheng 和 UCSD 準教授 Hao Zhang 創(chuàng)立,目標是通過共同開發(fā)開放的數(shù)據(jù)集、模型、系統(tǒng)和評估工具,使每個人都能獲得大型模型。

Lianmin Zheng

Lianmin Zheng 是加州大學伯克利分校 EECS 系的博士生,他的研究興趣包括機器學習系統(tǒng)、編譯器和分布式系統(tǒng)。

Hao Zhang

Hao Zhang 目前是加州大學伯克利分校的博士后研究員。他將于 2023 年秋季開始在加州大學圣地亞哥分校 Hal?c?o?lu 數(shù)據(jù)科學研究所和計算機系擔任助理教授。

參考資料:

  • https://lmsys.org/blog/2023-05-03-arena/

本文來自微信公眾號:新智元 (ID:AI_era)

廣告聲明:文內含有的對外跳轉鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結果僅供參考,IT之家所有文章均包含本聲明。

相關文章

關鍵詞:人工智能模型

軟媒旗下網(wǎng)站: IT之家 最會買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機APP應用 魔方 最會買 要知