IT之家 7 月 31 日消息，人們正在越來越多地使用大模型完成各種任務(wù)，不論是翻譯、總結(jié)文章還是識別金融詐騙，大模型都是“無所不包”。盡管這些模型都具有“驚人”能力，但它們偶爾也會生成錯誤答案，并對錯誤答案過于自信、對正確答案信心不足，使用戶對大模型是否值得信任表示懷疑。
據(jù) MIT NEWS 今日報道，麻省理工學(xué)院（MIT）和 MIT-IBM Watson AI Lab 的研究人員提出了一種專為大型語言模型量身定制的校準方法。他們的方法被稱為“溫度計”，其原理是在大語言模型之上構(gòu)建一個較小的輔助模型來對其進行校準。
據(jù)悉，這種被叫作“溫度計”的方法所需的計算能力更少，但同時又能保持模型的準確性，并使其能夠在未曾遇到過的任務(wù)中做出更好的校準響應(yīng)。
通過針對各種任務(wù)對大語言模型進行高效校準，“溫度計”可以幫助用戶找出模型對錯誤預(yù)測過于自信的情況，最終防止用戶在可能失敗的情況下部署該模型。
有關(guān)論文的第一作者、麻省理工學(xué)院電子工程和計算機科學(xué)研究生沈茂豪（IT之家注：音譯）表示，“我們希望向用戶提供一個明確的信號，告訴他們模型的回應(yīng)是準確還是不準確，以反映模型的不確定性，讓他們知道模型是否可靠?！?/p>
借助“溫度計”，研究人員開發(fā)出了一種多功能技術(shù)，利用一種被稱為“溫度縮放”的經(jīng)典校準方法，為新任務(wù)有效地校準大語言模型。在此背景下，“溫度”是一個縮放參數(shù)，用于調(diào)整模型的“信心”以與其預(yù)測準確性一致。
研究人員訓(xùn)練了一個輔助模型，該模型在大型語言模型之上運行，自動預(yù)測校準新任務(wù)所需的“溫度”?！皽囟扔嫛敝恍枰L問大型語言模型內(nèi)部的一個小部分，就能預(yù)測出特定任務(wù)數(shù)據(jù)點的正確“溫度”，以校準其預(yù)測。
該團隊希望未來使“溫度計”支持更復(fù)雜的文本生成任務(wù)，并將該技術(shù)應(yīng)用于更大的大型語言模型。
參考
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。