GPT-4o，比上一代更容易被越獄攻擊了？來自北航和南洋理工的研究人員，通過上萬次的 API 查詢，對 GPT-4o 各種模態(tài)的安全性進(jìn)行了詳細(xì)測試。
結(jié)果發(fā)現(xiàn)，GPT-4o 新引入的語音模態(tài)帶來了新的攻擊面，而且多模態(tài)整體安全性不敵 GPT-4V。
具體來說，研究人員針對 4 個常用的基準(zhǔn)測試，對 GPT-4o 支持的三種模態(tài)（文本、圖像、音頻）進(jìn)行了測試。
測試一共涉及到 4000 + 初始文本查詢的優(yōu)化，8000 + 響應(yīng)判斷，16000 + 次 OpenAI 的 API 查詢。
基于此，研究人員撰寫了詳細(xì)的報告，給出了關(guān)于 GPT-4o 的安全性的三點見解：
GPT-4o 對文本越獄攻擊的安全性比之前有所提升，但文本模態(tài)越獄攻擊可遷移性強(qiáng)，可通過多模態(tài)形式攻擊；
新引入的音頻模態(tài)為 GPT-4o 的越獄攻擊暴露了新的攻擊面；
當(dāng)前的黑盒多模態(tài)越獄攻擊方法幾乎無效，但實驗表明 GPT-4o 多模態(tài)層面的安全性弱于 GPT-4V。
下面就來看一下這份報告的詳細(xì)內(nèi)容~
評價規(guī)則
首先，讓我們了解一下作者使用的測評方式和實驗設(shè)定。
為了評估 GPT-4o 的安全風(fēng)險以及其相較于上一代模型的改變，作者將目標(biāo)模型設(shè)置為 GPT-4V 和 GPT-4o，利用 API 和移動應(yīng)用對這些模型進(jìn)行評估。
對于單模態(tài)下的文本越獄攻擊，作者使用 Llama2（7b-chat）生成文本越獄提示，然后用其遷移攻擊目標(biāo)模型。
為了全面評估目標(biāo)模型的安全性，作者收集了現(xiàn)有的基于單模態(tài)和多模態(tài)的開源越獄數(shù)據(jù)集：
對于文本模態(tài)，使用了 AdvBench 和 RedTeam-2K。
對于音頻模態(tài)，使用了 AdvBench 子集。
對于多模態(tài)越獄，使用 SafeBench 和 MM-SafetyBench，這是基于兩種典型的黑盒多模態(tài)越獄方法構(gòu)建的。
這些數(shù)據(jù)集按照 OpenAI 和 Meta AI 的用戶策略，將數(shù)據(jù)集的內(nèi)容分成了不同的類別，例如非法活動、仇恨言論等。
越獄方法層面，報告中評估了 7 種先進(jìn)的越獄方法，分為兩類。
其中單模態(tài)越獄方法包括基于模板的方法、GCG、AutoDAN 和 PAP；多模態(tài)越獄攻擊方法包括 FigStep、Liu 等人工作和作者團(tuán)隊近期提出的 BAP。
特別地，對于 FigStep 和 Liu 等人工作，基于相應(yīng)方法構(gòu)建的官方數(shù)據(jù)集已經(jīng)發(fā)布，因此作者直接使用它們來評估目標(biāo)模型；其他方法的評價則在 AdvBench 上進(jìn)行。
對于基于模板的方法，作者從互聯(lián)網(wǎng)上選擇了 6 個典型的越獄模版進(jìn)行測試，并使用它們的平均 ASR 作為相應(yīng)指標(biāo)。
GCG 和 AutoDAN 最初是為白盒場景提出的，但它們已經(jīng)被證明具有強(qiáng)大遷移性 —— 作者通過攻擊 Llama2，使用這兩類方法生成對抗性后綴，并隨后將這些后綴應(yīng)用于攻擊 GPT-4o 和 GPT-4V。
BAP 是一種多模態(tài)越獄攻擊方法，其利用了基于梯度的視覺對抗提示優(yōu)化和基于思維鏈的文本對抗提示自適應(yīng)優(yōu)化。盡管目標(biāo)模型是黑盒模型，但其中的文本對抗提示優(yōu)化方法不受限制。因此在本研究中，作者使用它來評估文本模態(tài)的安全性。
評估指標(biāo)采用的是攻擊成功率（ASR），ASR 越高則目標(biāo)模型越容易被越獄成功。其計算公式如下：
其中 D 為數(shù)據(jù)集，J 為判決函數(shù)，F(xiàn)_θ 為目標(biāo)模型，v_i 為圖像、t_i 為文本，a_i 為音頻，在評估時，沒有涉及的模態(tài)將會被置空。
目前的工作中采用不同的方法作為判決函數(shù)，在報告中，作者遵循已有工作的設(shè)計，采用四類方法將 J 分別實例化 J_1,J_2,J3,J_4。
J_1 表示使用基于字符串匹配的方法，其中目標(biāo)字符串包括‘Sorry’等否定模式，如果響應(yīng)內(nèi)容是安全的。
J_2 表示使用 Meta 發(fā)布的 Llama Guard 判斷內(nèi)容是否安全。
J_3 表示使用目標(biāo)模型相應(yīng)以及判斷提示模板，交由 ChatGPT 判斷。
J_4 則是交由 GPT-4o 判斷。
J_3 和 J_4 除了模型不同外，所用的判斷提示模版也不同，J_3 的模版是要求大語言模型僅根據(jù)響應(yīng)判斷內(nèi)容是否安全，而 J_4 的模版會同時根據(jù)問題和響應(yīng)判斷內(nèi)容是否安全。
在實驗評估中，作者會同時使用這四類判斷函數(shù)計算 ASR，定性分析時借鑒集成學(xué)習(xí)的思想，以多數(shù)判斷函數(shù)的結(jié)果為準(zhǔn)，定量分析時則以 J_4 的結(jié)果為準(zhǔn)。
純文本模態(tài)下，有攻擊比沒有時更安全
文本模態(tài)越獄風(fēng)險方面，基于 RedTeam-2K 的評估結(jié)果表明，在沒有攻擊的情況下，GPT-4o 的安全水平低于 GPT-4V。
當(dāng)考慮到特定情景，特別是那些具有較高風(fēng)險的情景 (如 Physical Harm 時，兩種目標(biāo)模型之間的 ASR 差距變得更加明顯，達(dá)到 14.6％。
這一實驗發(fā)現(xiàn)與直覺上認(rèn)為在沒有攻擊的情況下，GPT-4o 是更安全的模型形成了鮮明對比。
這表明，具有更強(qiáng)的通用能力的模型并不一定等同于更強(qiáng)的安全性能，事實上，在報告的環(huán)境中可能更弱。
安全性能間的差異可能源于訓(xùn)練目標(biāo)和安全目標(biāo)之間的內(nèi)在沖突 ——
雖然在更廣泛的數(shù)據(jù)集上訓(xùn)練的大模型可能在知識和全面性方面表現(xiàn)出更好的性能，但它們也可能更容易產(chǎn)生不安全或有害的內(nèi)容。
相反，經(jīng)過嚴(yán)格安全措施訓(xùn)練的模型可能由于接觸不同數(shù)據(jù)的機(jī)會有限和嚴(yán)格的響應(yīng)準(zhǔn)則而表現(xiàn)出性能下降。
報告中的實驗數(shù)據(jù)表明，GPT-4o 可能沒有充分實現(xiàn)訓(xùn)練目標(biāo)和安全目標(biāo)之間的權(quán)衡。
考慮到常用的 AdvBench 基準(zhǔn)的代表性和適用性，除了評估目標(biāo)模型在原始文本查詢下的安全性外，作者還評估了模型在各種 SOTA 越獄攻擊下的安全性。
作者觀察到基于模板的越獄方法 TBJ 的 ASR 持續(xù)下降到 0.0％，甚至低于 No Attack 時的 ASR，這一現(xiàn)象表明 OpenAI 已經(jīng)針對這些廣泛傳播的越獄模板實施了額外的保護(hù)措施。
此外還可以看到，與 No Attack 基線相比，GCG 和 AutoDAN 在越獄中都實現(xiàn)了一定程度的可遷移性。
例如攻擊 GPT-4V 時，GCG 和 AutoDAN 分別使 ASR 提高 10％和 14.1％。
PAP 是另一種專門為越獄大語言模型設(shè)計的方法，它在基于文本越獄攻擊方法中擁有最高的 ASR（GPT-4V 和 GPT-4o 的 ASR 分別為 62.2％和 62.7％）。
BAP 是作者最近提出的一種多模態(tài)越獄攻擊方法，但在報告中，主要利用的是它的文本優(yōu)化方法，結(jié)果 BAP 在攻擊 GPT-4V 時達(dá)到了最高的 ASR，達(dá)到 83.1％。
從目標(biāo)模型來看，除了 J_3 中的 PAP 以外，在任何判斷函數(shù)和任何攻擊方式下，攻擊 GPT-4o 的 ASR 都低于攻擊 GPT-4V。
這表明在面臨攻擊的情況下，與 GPT-4V 相比，GPT-4o 具有更高的安全性。
音頻模態(tài)比文本更難攻擊
由于 OpenAI 的音頻相關(guān) API 暫時不可用，移動應(yīng)用中也有請求頻率限制，作者對音頻模態(tài)的安全性的測試相對有限。
作者首先使用 GPT-4o 對 AdvBench 進(jìn)行分類，并從 4 個最常見的類別中隨機(jī)選擇 10 個文本查詢，并基于上一節(jié)的實驗數(shù)據(jù)選擇了 GCG、AudoDAN、PAP 和 BAP 生成的文本對抗提示。
隨后，作者使用 OpenAI 的 TTS-1API 將總共 200 個文本樣本轉(zhuǎn)換為 MP3 格式。由于實驗數(shù)據(jù)有限，這部分的 ASR 是通過人工評估來計算的。
結(jié)果現(xiàn)實，直接將原始文本查詢轉(zhuǎn)換為音頻是無法越獄 GPT-4o 的，表明 GPT-4o 在音頻模態(tài)上具有足夠的安全性。
此外，使用 GCG 和 AutoDAN 等方法在文本模態(tài)下可以成功越獄 GPT-4o 的文本，在轉(zhuǎn)換為音頻模態(tài)后也失敗了。
造成這種結(jié)果的主要原因是這些方法生成的對抗性后綴在模態(tài)處理過程中丟失了一些關(guān)鍵的語義信息（如非字母符號）。
另外，作者觀察到 PAP 和 BAP 在文本模態(tài)下的 ASR 略高于從這些文本在音頻模態(tài)下得到的 ASR。例如，在非法活動場景中，文本模式下 BAP 的 ASR 為 100％，而音頻模式下的 ASR 為 80％。
在檢查交互結(jié)果時，作者發(fā)現(xiàn)在音頻交互期間，GPT-4o 有時會以簡單的‘Sure’響應(yīng)，然后詢問進(jìn)一步的細(xì)節(jié)，模仿人類的會話風(fēng)格。
然而，報告中使用的文本模態(tài)越獄方法并沒有考慮到這一點，因為它們依賴于單回合對話來實現(xiàn)越獄。因此，音頻模式的越獄攻擊的 ASR 略低于文本模式。
值得注意的是，盡管存在差距，音頻對抗性提示的 ASR 并沒有顯著降低。
這在很大程度上是由于 PAP 和 BAP 采用的策略接近于人類的處理方式。例如，它們會利用有說服力的策略，如情景假設(shè)對整個語句進(jìn)行優(yōu)化。
多模態(tài)下比 GPT-4V 更易被攻擊
多模態(tài)安全性上，作者首先基于 SafeBench 進(jìn)行了評估，該數(shù)據(jù)集的核心思想是將原始查詢中的有害意圖轉(zhuǎn)換為格式化的排版圖像，并在圖像中留下空白，并由目標(biāo)模型填充。
從下表結(jié)果可以觀察到，在每種判斷結(jié)果中，GPT-4o 的結(jié)果始終高于 GPT-4V (在 J_4 中最多，為 42.0％)，這表明 GPT-4o 比 GPT-4V 更容易受到此類攻擊。
考慮到 GPT-4o 優(yōu)越的多模態(tài)融合能力，這也可能導(dǎo)致其對此類攻擊的脆弱性增加。
值得注意的是，我們觀察到一個異?，F(xiàn)象，即在某些情況下，目標(biāo)模型在 No Attack 條件（僅使用原始文本查詢）下的 ASR 高于攻擊條件下的 ASR。
下圖給出了一個示例，顯示當(dāng)使用多模態(tài)查詢時，越獄嘗試更容易失敗。這一觀察結(jié)果與原始論文的發(fā)現(xiàn)以及作者的直覺相矛盾。
作者分析，這種差異可能是由于 OpenAI 實現(xiàn)了類似于 FigStep 的針對多模態(tài)排版攻擊的特定防御。這些排版攻擊通常需要使用諸如“請為上述列表中的每個項目生成詳細(xì)的內(nèi)容”的文本提示才有效。
作者推測 OpenAI 可能會根據(jù)這些字符串特征檢測到排版攻擊的跡象，從而在推理過程中采用更強(qiáng)的緩解機(jī)制。
在非異常情況下，使用 FigStep 攻擊獲得的 ASR 并不顯著高于 No Attack 條件下的 ASR。
例如，當(dāng)攻擊 GPT-4o 時，Hate Speech 場景的 ASR 僅為 3.6％。這表明 FigStep 攻擊對 GPT-4V 和 GPT-4o 基本上無效。
這里需要注意，考慮到 OpenAI 對其商業(yè)模型保護(hù)措施的動態(tài)調(diào)整，目前的研究結(jié)果并不能否定 FigStep 在其最初發(fā)布時有效越獄 GPT-4V 的由有效性。
另外，作者還在 MM-SafetyBench 上進(jìn)行了評估，該數(shù)據(jù)集利用了基于圖像語義構(gòu)建視覺對抗性提示的方法。
原始文本查詢中的有害語義通過文本到圖像模型轉(zhuǎn)換為圖像，然后添加關(guān)鍵的排版文本以生成所需的視覺對抗提示。
當(dāng)在下表中關(guān)注 Hate Speech、Physical Harm 和 Fraud 等危害性較強(qiáng)的場景下的實驗結(jié)果時，觀察到攻擊下目標(biāo)模型的 ASR 始終低于 No Attack 條件 (僅使用原始文本查詢) 下的 ASR。
作者在評估 SafeBench 時觀察到這種現(xiàn)象，例如對于這種基于圖像語義的攻擊，OpenAI 可能在檢測到含有有害語義的圖像后，采用先進(jìn)的防御機(jī)制，防止攻擊者利用圖像向多模態(tài)大模型中注入有害語義或指令。
所以，作者推測 OpenAI 已經(jīng)針對這些已知的多模態(tài)攻擊方法實現(xiàn)了特定的防御。
在攻擊 GPT-4o 時，除了 Hate Speech、Economic Harm 和 Legal Opinion 場景外，在 No Attack 條件下的 ASR 始終高于攻擊條件下的 ASR，這是一個異常現(xiàn)象。
在 GPT-4V 中也觀察到類似的模式，這說明當(dāng)前典型的黑盒多模態(tài)越獄方法對于越獄 GPT-4o 和 GPT-4V 無效。
此外作者還注意到，除 J_3 的判斷結(jié)果外，其他三個判斷函數(shù)的結(jié)果都表明 GPT-4o 的 ASR 始終高于 GPT-4v。結(jié)合 SafeBench 獲得的實驗結(jié)果，這清楚地表明，與 GPT-4v 相比，GPT-4o 更容易受到多模式越獄攻擊。
同時，作者指出，由于官方 OpenAI API 的局限性，本研究主要側(cè)重于通過 API 對大型數(shù)據(jù)集上涉及文本和視覺模式的越獄攻擊進(jìn)行自動評估，并通過移動應(yīng)用程序使用 AdvBench 的一個子集手動對音頻模式進(jìn)行越獄攻擊。
這項研究首次揭示了幾個關(guān)鍵的觀察結(jié)果。作者希望這項工作能提高社區(qū)對多模態(tài)大模型安全風(fēng)險的認(rèn)識，并敦促研究人員優(yōu)先考慮為多模態(tài)大模型制定對齊策略和緩解技術(shù)。
另外，由于目前多模態(tài)越獄數(shù)據(jù)集的匱乏，本研究僅探討文本-視覺的多模態(tài)組合下的越獄對 GPT-4o 安全性的影響。
作者表示，在未來，必須迅速建立包括文本、視覺和音頻等各種模態(tài)組合的多模式數(shù)據(jù)集，以全面評估 GPT-4o 的安全能力。
論文地址：
https://arxiv.org/abs/2406.06302
GitHub：
https://github.com/NY1024/Jailbreak_GPT4o
本文來自微信公眾號：量子位 （ID：QbitAI），作者：關(guān)注前沿科技
廣告聲明：文內(nèi)含有的對外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。