IT之家 3 月 27 日消息，科技媒體 NeoWin 昨日（3 月 26 日）發(fā)布博文，報(bào)道稱數(shù)據(jù)智能公司 Databricks 發(fā)布新型大語言模型微調(diào)方法 TAO（Test-time Adaptive Optimization），通過無標(biāo)注數(shù)據(jù)和強(qiáng)化學(xué)習(xí)技術(shù)，在顯著降低企業(yè)成本的同時(shí)提升模型性能。
測(cè)試顯示，在金融文檔問答和 SQL 生成任務(wù)中，通過 TAO 微調(diào)后的 Llama 3.3 70B 模型，表現(xiàn)甚至超越傳統(tǒng)標(biāo)注微調(diào)方法，逼近 OpenAI 頂級(jí)閉源模型。
TAO 方法利用測(cè)試時(shí)計(jì)算（test-time compute）自動(dòng)探索任務(wù)可能性，結(jié)合強(qiáng)化學(xué)習(xí)優(yōu)化模型，省去人工標(biāo)注成本。在三大企業(yè)基準(zhǔn)測(cè)試中，TAO 微調(diào)的 Llama 模型表現(xiàn)亮眼：
FinanceBench（7200 道 SEC 文檔問答）：TAO 模型得分 85.1，優(yōu)于標(biāo)注微調(diào)（81.1）和 OpenAI o3-mini（82.2）。
BIRD-SQL：TAO 模型 56.1 分，接近 GPT-4o（58.1），遠(yuǎn)超標(biāo)注微調(diào)（54.9）。
DB Enterprise Arena：TAO 模型 47.2 分，而 GPT-4o 模型得分為 53.8 分。
TAO 技術(shù)為開源模型提供了持續(xù)進(jìn)化路徑：用戶使用越多，模型通過反饋數(shù)據(jù)自我優(yōu)化的潛力越大，目前該技術(shù)已在 Llama 模型上啟動(dòng)私測(cè)，企業(yè)可通過申請(qǐng)表單參與。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。