IT之家 7 月 31 日消息，Meta 公司上周在發(fā)布 Llama 3.1 AI 模型的同時(shí)，還發(fā)布了 Prompt-Guard-86M 模型，主要幫助開發(fā)人員檢測并響應(yīng)提示詞注入和越獄輸入。
IT之家在這里簡要補(bǔ)充下背景知識：
提示詞注入（prompt injection）：將惡意或非預(yù)期內(nèi)容添加到提示中，以劫持語言模型的輸出。提示泄露和越獄實(shí)際上是這種攻擊的子集；
提示詞越獄（prompt jailbreaks）：繞過安全和審查功能。
不過根據(jù)科技媒體 theregister 報(bào)道，這個(gè)防止 AI 提示詞注入和越獄的模型，本身也存在漏洞，用戶只需要通過空格鍵就能繞過 Meta 的 AI 安全系統(tǒng)。
企業(yè)人工智能應(yīng)用安全商店 Robust Intelligence 的漏洞獵人阿曼?普里揚(yáng)舒（Aman Priyanshu）分析 Meta 的 Prompt-Guard-86M 模型與微軟的基礎(chǔ)模型 microsoft / mdeberta-v3-base 之間的嵌入權(quán)重差異時(shí)，發(fā)現(xiàn)了這種安全繞過機(jī)制。
用戶只需要在字母之間添加空格并省略標(biāo)點(diǎn)符號，就可以要求 Meta 的 Prompt-Guard-86M 分類器模型“忽略之前的指令”。
Priyanshu 在周四提交給 Prompt-Guard repo 的 GitHub Issues 帖子中解釋說：
繞過方法是在給定提示符中的所有英文字母字符之間插入按字符順序排列的空格。這種簡單的轉(zhuǎn)換有效地使分類器無法檢測到潛在的有害內(nèi)容。
Robust Intelligence 首席技術(shù)官海勒姆?安德森（Hyrum Anderson）表示
無論你想問什么令人討厭的問題，你所要做的就是去掉標(biāo)點(diǎn)符號，在每個(gè)字母之間加上空格。
它的攻擊成功率從不到 3% 到接近 100%。
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。