IT之家 12 月 29 日消息，目前業(yè)界模型性能通常與訓(xùn)練期間投入的資源綁定，除了頭部廠(chǎng)商大肆投入資源訓(xùn)練模型外，許多小型企業(yè)和個(gè)人開(kāi)發(fā)者實(shí)際上并不具備足夠的資源，為了解決這一問(wèn)題，許多團(tuán)隊(duì)試圖尋找降本增效替代方案。
Hugging Face 于本月中旬公布一項(xiàng)報(bào)告，提出一種“擴(kuò)展測(cè)試時(shí)計(jì)算（IT之家注：Test-Time Compute Scaling）”方法，也就是用時(shí)間來(lái)彌補(bǔ)模型體量，給予“低成本小模型”充足時(shí)間，讓相關(guān)模型能夠?qū)?fù)雜問(wèn)題生成大量結(jié)果，再利用驗(yàn)證器對(duì)這些結(jié)果進(jìn)行測(cè)試及修正，反復(fù)輸出能夠比擬“高成本大模型”的結(jié)果。
Hugging Face 團(tuán)隊(duì)表示，他們使用這種方法利用 10 億參數(shù)的 Llama 模型進(jìn)行數(shù)學(xué)基準(zhǔn)測(cè)試，據(jù)稱(chēng)在某些情境下超越了參數(shù)量高達(dá) 70 億的大型模型，證明了用時(shí)間提升模型輸出內(nèi)容效果做法可行。
此外，谷歌 DeepMind 最近也公布了類(lèi)似的論文，他們認(rèn)為可以為小模型動(dòng)態(tài)分配運(yùn)算資源，并設(shè)置驗(yàn)證器對(duì)模型的解答結(jié)果進(jìn)行評(píng)分，從而引導(dǎo)模型不斷輸出正確的答案，從而幫助企業(yè)以較少的資源部署足夠精度的語(yǔ)言模型。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。