IT之家 2 月 3 日消息，OpenAI 在其最新發(fā)布的“推理”模型 o3-mini 的系統(tǒng)文檔中透露，該公司利用 Reddit 的子論壇 r / ChangeMyView 來(lái)測(cè)試其 AI 模型的說(shuō)服能力。r / ChangeMyView 是一個(gè)擁有數(shù)百萬(wàn)用戶的 Reddit 論壇，用戶在此發(fā)布觀點(diǎn)并希望通過(guò)討論了解他人的不同看法。其他用戶則會(huì)以具有說(shuō)服力的論點(diǎn)回應(yīng)，試圖改變?cè)髡叩挠^點(diǎn)。
對(duì)于 OpenAI 等科技公司而言，r / ChangeMyView 等 Reddit 論壇是高質(zhì)量人類(lèi)生成數(shù)據(jù)的寶庫(kù)，可用于訓(xùn)練 AI 模型。OpenAI 表示，其從 r / ChangeMyView 收集用戶帖子，并要求 AI 模型在封閉環(huán)境中撰寫(xiě)回復(fù)，以試圖改變 Reddit 用戶對(duì)某一主題的看法。隨后，OpenAI 將這些回復(fù)展示給測(cè)試者進(jìn)行評(píng)估，并將 AI 模型的回復(fù)與人類(lèi)回復(fù)進(jìn)行比較，以衡量其說(shuō)服力。
盡管 OpenAI 與 Reddit 達(dá)成了內(nèi)容授權(quán)協(xié)議，允許其使用 Reddit 用戶帖子進(jìn)行訓(xùn)練并在其產(chǎn)品中展示這些內(nèi)容，但 OpenAI 表示，此次基于 r / ChangeMyView 的評(píng)估與其 Reddit 協(xié)議無(wú)關(guān)。目前尚不清楚 OpenAI 如何獲取該子論壇的數(shù)據(jù)，且該公司表示暫無(wú)計(jì)劃向公眾發(fā)布這一評(píng)估結(jié)果。
值得注意的是，Reddit 近年來(lái)與多家 AI 公司達(dá)成了授權(quán)協(xié)議，但也曾公開(kāi)批評(píng)部分 AI 公司未經(jīng)許可抓取其網(wǎng)站內(nèi)容。Reddit 首席執(zhí)行官史蒂夫?霍夫曼去年曾表示，微軟、Anthropic 和 Perplexity 等公司拒絕與其談判，并稱(chēng)阻止這些公司抓取數(shù)據(jù)“非常麻煩”。此外，OpenAI 也因涉嫌未經(jīng)授權(quán)抓取《紐約時(shí)報(bào)》等網(wǎng)站內(nèi)容以訓(xùn)練 ChatGPT 及其底層 AI 模型而面臨多起訴訟。
IT之家注意到，在 r / ChangeMyView 基準(zhǔn)測(cè)試中，o3-mini 的表現(xiàn)并未顯著優(yōu)于或劣于 o1 或 GPT-4o。然而，OpenAI 的最新 AI 模型在說(shuō)服力方面似乎超過(guò)了 r / ChangeMyView 子論壇中的大多數(shù)用戶。OpenAI 在 o3-mini 的系統(tǒng)文檔中表示：“GPT-4o、o3-mini 和 o1 均展現(xiàn)出強(qiáng)大的說(shuō)服性論證能力，處于人類(lèi)前 80-90% 的水平。目前，我們尚未發(fā)現(xiàn)模型表現(xiàn)遠(yuǎn)超人類(lèi)或具備明顯的超人類(lèi)能力。”
OpenAI 的目標(biāo)并非開(kāi)發(fā)具有超強(qiáng)說(shuō)服力的 AI 模型，而是確保 AI 模型不會(huì)變得過(guò)于具有說(shuō)服力。隨著推理模型在說(shuō)服和欺騙方面表現(xiàn)越來(lái)越出色，OpenAI 已開(kāi)發(fā)出新的評(píng)估方法和保障措施來(lái)應(yīng)對(duì)這一問(wèn)題。OpenAI 擔(dān)心，如果 AI 模型過(guò)于擅長(zhǎng)說(shuō)服人類(lèi)用戶，可能會(huì)帶來(lái)危險(xiǎn)。理論上，這可能導(dǎo)致高級(jí) AI 按照自己的目標(biāo)或者其控制者的目標(biāo)行動(dòng)，而不一定符合人類(lèi)的整體利益。
盡管 OpenAI 已抓取了大部分公共互聯(lián)網(wǎng)數(shù)據(jù)并通過(guò)授權(quán)獲取其他數(shù)據(jù)，但 r / ChangeMyView 基準(zhǔn)測(cè)試表明，AI 模型開(kāi)發(fā)者仍在努力尋找高質(zhì)量數(shù)據(jù)集來(lái)測(cè)試其模型。然而，獲取這些數(shù)據(jù)并非易事。
廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。