針對(duì)大模型偶發(fā)腦回路故障難題,最新研究 GlitchHunter 收集了大量故障詞元,并針對(duì)不同情況進(jìn)行分類(lèi),極大改善了大模型的輸出質(zhì)量。
如今,大型語(yǔ)言模型(LLM)已經(jīng)成為了我們生活中的好幫手。
當(dāng)用戶(hù)使用大模型時(shí),模型首先會(huì)將輸入的內(nèi)容拆分成一個(gè)個(gè)的詞元(token),通過(guò)分析這些詞元來(lái)生成答案,為我們解答疑惑、提供建議、翻譯外語(yǔ)、撰寫(xiě)報(bào)告??????但是,你能想象大模型也會(huì)出錯(cuò)嗎?
想象一下,你正在使用最新款的智能手機(jī),它快速、聰明、幾乎可以做任何你想要的事情。
但偶爾,你發(fā)現(xiàn)手機(jī)的一兩個(gè)按鍵不按常理出牌 —— 比如說(shuō),你按下「S」,它偏偏跳出「E」,或者干脆點(diǎn)了沒(méi)反應(yīng),那估計(jì)用的時(shí)候就只想砸手機(jī)了。
大模型中存在一些故障詞元(glitch token),一個(gè)個(gè)本應(yīng)協(xié)助模型流暢運(yùn)行的小小詞元,偏偏要搞點(diǎn)小破壞。
針對(duì)這個(gè)情況,由華中科技大學(xué)、南洋理工大學(xué)等高校聯(lián)合組成的研究團(tuán)隊(duì)近日發(fā)表了一項(xiàng)研究,該工作已經(jīng)被軟件工程領(lǐng)域國(guó)際頂級(jí)會(huì)議 ——FSE 2024 接收。
該研究是第一個(gè)關(guān)于故障詞元的全面研究,并且研究中針對(duì)故障詞元的檢測(cè)方法為減少大模型中與分詞(tokenizer)相關(guān)的錯(cuò)誤提供了有意義的見(jiàn)解。
簡(jiǎn)單來(lái)說(shuō),這項(xiàng)研究就像是在告訴我們:在大模型的世界里,有些小故障不僅僅是小插曲,它們可以大大影響模型的輸出質(zhì)量。通過(guò)識(shí)別出這些故障,可以更好地理解和優(yōu)化這些聰明但偶爾會(huì)犯糊涂的大型語(yǔ)言模型。
論文簡(jiǎn)介
這篇工作中,作者首先提出了一個(gè)實(shí)證研究來(lái)了解故障詞元在大語(yǔ)言模型中的存在性與普遍性。作者調(diào)查了包括 GPT-4,Llama-2 在內(nèi)的七種熱門(mén)的大模型,其中包含了三種不同的分詞器,總共分析了十八萬(wàn)個(gè)不同的詞元。
作者要求大模型完成針對(duì)詞元的三個(gè)基礎(chǔ)且簡(jiǎn)單的任務(wù):復(fù)現(xiàn),拼寫(xiě)以及求長(zhǎng)度。根據(jù)不同的詞元的完成情況,作者從完成形式上不能完成任務(wù)的詞元分為了如下圖所示的 5 個(gè)種類(lèi)。在此基礎(chǔ)上,只要這個(gè)詞元不能夠完成以上的三個(gè)任務(wù)之一,他就會(huì)被標(biāo)記為故障詞元。
實(shí)證研究的第二個(gè)問(wèn)題是對(duì)故障詞元的形式進(jìn)行分類(lèi)。這些詞元有些是不同單詞的組合,一些是無(wú)意義字母的堆疊,還有一些是單純的無(wú)意義的符號(hào)。作者通過(guò)人工標(biāo)注的方法,將這些所有的故障詞元分為了表所示的 5 個(gè)種類(lèi)。
實(shí)證研究的第三個(gè)問(wèn)題故障詞元在真實(shí)的數(shù)據(jù)集中的存在情況。作者研究了包括 Alpaca,ShareGPT 在內(nèi)的用于大模型微調(diào)的主流數(shù)據(jù)集,發(fā)現(xiàn)在每個(gè)數(shù)據(jù)集中平均有 2% 以上的故障詞元。這說(shuō)明了故障詞元在數(shù)據(jù)集中很普遍,而且很可能會(huì)影響到使用這些數(shù)據(jù)集進(jìn)行微調(diào)的模型的效果。
在實(shí)證研究中作者還發(fā)現(xiàn),故障詞元在嵌入空間中有聚集效應(yīng),這便啟發(fā)作者可以通過(guò)聚類(lèi)的算法來(lái)完成針對(duì)故障詞元的識(shí)別工作。
作者基于上述的發(fā)現(xiàn)構(gòu)建了 GlitchHunter,一種用于檢測(cè)大模型中故障詞元的自動(dòng)化工具,主要依賴(lài)迭代聚類(lèi)技術(shù)來(lái)識(shí)別潛在的故障詞元群組,整個(gè)檢測(cè)流程分為幾個(gè)步驟:
- 構(gòu)建詞元嵌入圖 (TEG, Token Embedding Graph):首先,GlitchHunter 會(huì)構(gòu)建一個(gè)包括所有詞元及其相應(yīng)的嵌入向量的詞元嵌入圖,來(lái)展示所有詞元在嵌入空間中的位置和相互之間的關(guān)系。
- 候選聚類(lèi):接著,GlitchHunter 在詞元嵌入圖上尋找緊密聚集的詞元,使用 Leiden 聚類(lèi)算法形成潛在的故障詞元群組,這些詞元通常有相似的特征。
- 假設(shè)檢驗(yàn):在每個(gè)詞元群組內(nèi),GlitchHunter 進(jìn)行假設(shè)檢驗(yàn),通過(guò)分析群組內(nèi)詞元的行為和輸出結(jié)果來(lái)找出群組內(nèi)行為顯著偏離預(yù)期規(guī)范的詞元,確定哪些群組實(shí)際上包含故障詞元。
- 更新與迭代:選定包含故障詞元的群組后,這些詞元會(huì)被整合到一個(gè)更新的詞元嵌入圖中。隨后,GlitchHunter 會(huì)繼續(xù)進(jìn)行聚類(lèi)和檢測(cè),直到詞元嵌入圖不再經(jīng)歷任何更新,即沒(méi)有新的故障詞元被發(fā)現(xiàn)。
通過(guò)這種方法,GlitchHunter 能夠有效地在大數(shù)據(jù)集中快速定位并處理故障詞元,減少錯(cuò)誤輸出,提高語(yǔ)言模型的整體質(zhì)量和可靠性。
為了驗(yàn)證 GlitchHunter 的效果,本文采用了幾項(xiàng)關(guān)鍵指標(biāo)來(lái)比較 GlitchHunter 與幾種基線方法的性能,包括隨機(jī)抽樣、基于規(guī)則的隨機(jī)抽樣和 K-means 聚類(lèi)。評(píng)估結(jié)果顯示,GlitchHunter 在各個(gè)測(cè)試模型中普遍表現(xiàn)出色。
首先,GlitchHunter 的真陽(yáng)性率(True Positive Rate)顯著高于其他方法,這表明它在實(shí)際檢測(cè)到故障詞元的準(zhǔn)確性方面表現(xiàn)優(yōu)異。同時(shí),其精確度(Precision)達(dá)到接近或等于 100%,遠(yuǎn)高于其他比較方法,這反映了其在識(shí)別故障詞元時(shí)的高精確性。
在召回率(Recall)方面,GlitchHunter 同樣展現(xiàn)了較高的性能,有效地識(shí)別了大部分存在的故障詞元,確保了較少的遺漏。
此外,GlitchHunter 相較于完整遍歷詞元表的方法,顯著減少了所需的時(shí)間和處理的詞元數(shù)量,展示了其在達(dá)到高性能的同時(shí)保持了較低的資源開(kāi)銷(xiāo)。這些評(píng)估結(jié)果充分驗(yàn)證了 GlitchHunter 在實(shí)際應(yīng)用中提高 LLM 輸出質(zhì)量和可靠性的潛力,證明了其作為故障詞元檢測(cè)工具的有效性和實(shí)用性。
未來(lái)工作
在這個(gè)工作中,作者完成了對(duì)故障詞元的系統(tǒng)性探究,但是對(duì)于故障詞元出現(xiàn)的原因以及如何進(jìn)行修復(fù)并未進(jìn)行過(guò)多的探討,而這也是進(jìn)行故障詞元研究的終極目標(biāo):解決掉所有這樣的故障詞元,完善大語(yǔ)言模型對(duì)于每一個(gè)詞元的理解。
參考資料:
https://arxiv.org/abs/2404.09894
廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。