設(shè)置
  • 日夜間
    隨系統(tǒng)
    淺色
    深色
  • 主題色

OpenAI 設(shè)立安全團(tuán)隊(duì) Preparedness:評(píng)估 AI 風(fēng)險(xiǎn)、防止外界濫用

2023/10/27 18:16:34 來(lái)源:IT之家 作者:漾仔(實(shí)習(xí)) 責(zé)編:漾仔

IT之家 10 月 27 日消息,OpenAI 今日宣布,正建立 Preparedness 團(tuán)隊(duì)來(lái)評(píng)估通用 AI(Artificial General Intelligence,AGI)可能造成的災(zāi)難性風(fēng)險(xiǎn),該團(tuán)隊(duì)交由麻省理工學(xué)院(MIT)的可部署機(jī)器學(xué)習(xí)中心主任 Aleksander Madry 主導(dǎo)。

▲ 圖源 OpenAI

OpenAI 表示,未來(lái)的 AI 模型雖然擁有造福全人類的潛力,但也可能帶來(lái)嚴(yán)重的風(fēng)險(xiǎn),因此需要建立一個(gè)強(qiáng)大的框架來(lái)監(jiān)控、評(píng)估、預(yù)測(cè)及防范這些 AI 模型。

據(jù)悉,OpenAI 設(shè)立了 Preparedness 團(tuán)隊(duì),將針對(duì)各種 AI 模型進(jìn)行能力評(píng)估及紅隊(duì)測(cè)試,以追蹤、預(yù)測(cè)及防范各類別的災(zāi)難性風(fēng)險(xiǎn)。

IT之家發(fā)現(xiàn),OpenAI 宣稱的相關(guān)風(fēng)險(xiǎn),主要包含以下三大類:

  • 說(shuō)服人類能力:AI 輸出的內(nèi)容是否會(huì)影響人類的行為

  • 生成不當(dāng)內(nèi)容:AI 是否會(huì)生成有關(guān)化學(xué) / 生物 / 放射性 / 核(CBRN)等危險(xiǎn)內(nèi)容

  • 自主復(fù)制與適應(yīng)能力(Autonomous Replication and Adaptation,ARA):AI 是否會(huì)在自我迭代中脫離人類的控制

OpenAI 已開始招募不同背景的人才加入 Preparedness 團(tuán)隊(duì),同時(shí)推出 AI Preparedness 挑戰(zhàn)賽,鼓勵(lì)參賽者以黑客名義,“破解”Whisper、Voice、GPT-4V、DALLE3 等模型,前 10 名將可獲得 OpenAI 所提供的、價(jià)值 2.5 萬(wàn)美元(IT之家備注:當(dāng)前約 18.3 萬(wàn)元人民幣)的 API 使用額度。

廣告聲明:文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接(包括不限于超鏈接、二維碼、口令等形式),用于傳遞更多信息,節(jié)省甄選時(shí)間,結(jié)果僅供參考,IT之家所有文章均包含本聲明。

相關(guān)文章

關(guān)鍵詞:黑客,人工智能OpenAI

軟媒旗下網(wǎng)站: IT之家 最會(huì)買 - 返利返現(xiàn)優(yōu)惠券 iPhone之家 Win7之家 Win10之家 Win11之家

軟媒旗下軟件: 軟媒手機(jī)APP應(yīng)用 魔方 最會(huì)買 要知