IT之家 12 月 29 日消息,目前業(yè)界模型性能通常與訓(xùn)練期間投入的資源綁定,除了頭部廠商大肆投入資源訓(xùn)練模型外,許多小型企業(yè)和個人開發(fā)者實際上并不具備足夠的資源,為了解決這一問題,許多團(tuán)隊試圖尋找降本增效替代方案。
Hugging Face 于本月中旬公布一項報告,提出一種“擴展測試時計算(IT之家注:Test-Time Compute Scaling)”方法,也就是用時間來彌補模型體量,給予“低成本小模型”充足時間,讓相關(guān)模型能夠?qū)?fù)雜問題生成大量結(jié)果,再利用驗證器對這些結(jié)果進(jìn)行測試及修正,反復(fù)輸出能夠比擬“高成本大模型”的結(jié)果。
Hugging Face 團(tuán)隊表示,他們使用這種方法利用 10 億參數(shù)的 Llama 模型進(jìn)行數(shù)學(xué)基準(zhǔn)測試,據(jù)稱在某些情境下超越了參數(shù)量高達(dá) 70 億的大型模型,證明了用時間提升模型輸出內(nèi)容效果做法可行。
此外,谷歌 DeepMind 最近也公布了類似的論文,他們認(rèn)為可以為小模型動態(tài)分配運算資源,并設(shè)置驗證器對模型的解答結(jié)果進(jìn)行評分,從而引導(dǎo)模型不斷輸出正確的答案,從而幫助企業(yè)以較少的資源部署足夠精度的語言模型。
廣告聲明:文內(nèi)含有的對外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。