1 分鐘不到、20 步以內“越獄”任意大模型，繞過安全限制！

而且不必知道模型內部細節 ——

只需要兩個黑盒模型互動，就能讓 AI 全自動攻陷 AI，說出危險內容。

聽說曾經紅極一時的“奶奶漏洞”已經被修復了:

那么現在搬出“偵探漏洞”、“冒險家漏洞”、“作家漏洞”，AI 又該如何應對？

一波猛攻下來，GPT-4 也遭不住，直接說出要給供水系統投毒只要…… 這樣那樣。

關鍵這只是賓夕法尼亞大學研究團隊曬出的一小波漏洞，而用上他們最新開發的算法，AI 可以自動生成各種攻擊提示。

研究人員表示，這種方法相比于現有的 GCG 等基于 token 的攻擊方法，效率提高了 5 個量級。而且生成的攻擊可解釋性強，誰都能看懂，還能遷移到其它模型。

無論是開源模型還是閉源模型，GPT-3.5、GPT-4、 Vicuna（Llama 2 變種）、PaLM-2 等，一個都跑不掉。

成功率可達 60-100%，拿下新 SOTA。

話說，這種對話模式好像有些似曾相識。多年前的初代 AI，20 個問題之內就能破解人類腦中想的是什么對象。

如今輪到 AI 來破解 AI 了。

讓大模型集體越獄

目前主流越獄攻擊方法有兩類，一種是提示級攻擊，一般需要人工策劃，而且不可擴展；

另一種是基于 token 的攻擊，有的需要超十萬次對話，且需要訪問模型內部，還包含“亂碼”不可解釋。

△ 左提示攻擊，右 token 攻擊

賓夕法尼亞大學研究團隊提出了一種叫 PAIR（Prompt Automatic Iterative Refinement）的算法，不需要任何人工參與，是一種全自動提示攻擊方法。

PAIR 涉及四個主要步驟：攻擊生成、目標響應、越獄評分和迭代細化；主要用到兩個黑盒模型：攻擊模型、目標模型。

具體來說，攻擊模型需要自動生成語義級別的提示，來攻破目標模型的安全防線，迫使其生成有害內容。

核心思路是讓兩個模型相互對抗、你來我往地交流。

攻擊模型會自動生成一個候選提示，然后輸入到目標模型中，得到目標模型的回復。

如果這次回復沒有成功攻破目標模型，那么攻擊模型會分析這次失敗的原因，改進并生成一個新的提示，再輸入到目標模型中。

這樣持續交流多輪，攻擊模型每次根據上一次的結果來迭代優化提示，直到生成一個成功的提示將目標模型攻破。

此外，迭代過程還可以并行，也就是可以同時運行多個對話，從而產生多個候選越獄提示，進一步提高了效率。

研究人員表示，由于兩個模型都是黑盒模型，所以攻擊者和目標對象可以用各種語言模型自由組合。

PAIR 不需要知道它們內部的具體結構和參數，只需要 API 即可，因此適用范圍非常廣。

GPT-4 也沒能逃過

實驗階段，研究人員在有害行為數據集 AdvBench 中選出了一個具有代表性的、包含 50 個不同類型任務的測試集，在多種開源和閉源大語言模型上測試了 PAIR 算法。

結果 PAIR 算法讓 Vicuna 越獄成功率達到了 100%，平均不到 12 步就能攻破。

閉源模型中，GPT-3.5 和 GPT-4 越獄成功率在 60% 左右，平均用了不到 20 步。在 PaLM-2 上成功率達到 72%，步數約為 15 步。

但是 PAIR 在 Llama-2 和 Claude 上的效果較差，研究人員認為這可能是因為這些模型在安全防御上做了更為嚴格的微調。

他們還比較了不同目標模型的可轉移性。結果顯示，PAIR 的 GPT-4 提示在 Vicuna 和 PaLM-2 上轉移效果較好。

研究人員認為，PAIR 生成的語義攻擊更能暴露語言模型固有的安全缺陷，而現有的安全措施更側重防御基于 token 的攻擊。

就比如開發出 GCG 算法的團隊，將研究結果分享給 OpenAI、Anthropic 和 Google 等大模型廠商后，相關模型修復了 token 級攻擊漏洞。

大模型針對語義攻擊的安全防御機制還有待完善。

論文鏈接：https://arxiv.org/ abs / 2310.08419

參考鏈接：https://x.com/ llm_sec / status / 1718932383959752869?s=20

本文來自微信公眾號：量子位 （ID：QbitAI），作者：西風

廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。

總結

以上是生活随笔為你收集整理的20 步内越狱任意大模型！更多“奶奶漏洞”全自动发现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。