復(fù)合對(duì)抗攻擊

• • • • 1、 Abstract
      • 2、Introduction
      • 3、Preliminaries and Related work（準(zhǔn)備工作和相關(guān)工作）
      • • Adversarial Attack
        • Automated Machine Learning
        • Composite Adversarial Attacks（復(fù)合對(duì)抗攻擊）
        • Problem formulation（問(wèn)題描述）
        • Constraining lp-Norm by Re-projection（重投影約束lp范數(shù)）
        • Search Objective（搜索目標(biāo)）
        • Search Space（搜索空間）
        • Search Strategy（搜索策略）
      • 4、Experiments
      • • Experiment Setup
      • 5、Ablations
      • 6、Conclusion

1、 Abstract

對(duì)抗性攻擊是一種欺騙機(jī)器學(xué)習(xí)模型的技術(shù)，它提供了一種評(píng)估對(duì)抗性魯棒性的方法。在實(shí)踐中，攻擊算法是由人類專家人工選擇和調(diào)整的，以破壞ML系統(tǒng)。然而，手動(dòng)選擇攻擊者往往是次優(yōu)的，導(dǎo)致對(duì)模型安全性的錯(cuò)誤評(píng)估。本文提出了一種新的過(guò)程，稱為復(fù)合對(duì)抗攻擊（CAA），用于從32個(gè)基本攻擊者的候選池中自動(dòng)搜索攻擊算法及其超參數(shù)的最佳組合。我們?cè)O(shè)計(jì)了一個(gè)搜索空間，將攻擊策略表示為一個(gè)攻擊序列，即前一個(gè)攻擊者的輸出作為后繼攻擊者的初始化輸入。采用多目標(biāo)NSGA-II遺傳算法，以最小的復(fù)雜度尋找最強(qiáng)的攻擊策略。實(shí)驗(yàn)結(jié)果表明，CAA在11種不同的防御方式下，以較短的時(shí)間（比自動(dòng)攻擊快6倍）擊敗了10名頂級(jí)攻擊者，在$l_{\infty }$,$l_2$和無(wú)限制的對(duì)抗性攻擊。

2、Introduction

DNNs 容易受到對(duì)手攻擊，這種攻擊的目的是通過(guò)產(chǎn)生不易察覺(jué)的擾動(dòng)樣本來(lái)愚弄訓(xùn)練有素的模型。這種嚴(yán)重的安全隱患很快引起了機(jī)器學(xué)習(xí)界的廣泛關(guān)注。通過(guò)對(duì)對(duì)抗樣本的深入研究，提出了多種攻擊算法來(lái)驗(yàn)證對(duì)抗的魯棒性。同時(shí)，一些開(kāi)源工具箱，如Cleverhans1（Papernot et al.2016）、FoolBox2（Rauber、Brendel和Bethge 2017）或AdverTorch3（Ding、Wang和Jin2019）正在開(kāi)發(fā)并集成大多數(shù)現(xiàn)有的攻擊算法。為方便快捷地攻擊模型提供了友好的用戶界面。

然而，即使開(kāi)發(fā)了設(shè)計(jì)良好的工具箱，攻擊一個(gè)模型仍然需要大量的用戶體驗(yàn)或手動(dòng)調(diào)整攻擊的超參數(shù)，尤其是當(dāng)我們無(wú)法了解目標(biāo)模型的防御機(jī)制時(shí)。這種依賴于用戶的特性也使得對(duì)抗性攻擊的工具化變得困難。另一方面，手動(dòng)選擇攻擊者有一定的傾向性和次優(yōu)性。它可能會(huì)引起對(duì)模型安全性的錯(cuò)誤評(píng)估，例如，眾所周知的錯(cuò)誤安全感是梯度模糊，這會(huì)導(dǎo)致對(duì)基于梯度的攻擊的虛假防御。

為了實(shí)現(xiàn)更全面、更強(qiáng)的攻擊，我們首先提出了通過(guò)從一系列攻擊算法中搜索有效的攻擊策略來(lái)實(shí)現(xiàn)攻擊過(guò)程的自動(dòng)化。我們將此過(guò)程命名為復(fù)合對(duì)抗攻擊（CAA）。為了說(shuō)明CAA的關(guān)鍵思想，圖2中給出了一個(gè)示例。假設(shè)有兩種候選攻擊方式，即空間攻擊（Engstrom et al.2019）和FGSM攻擊（Goodfello，Shlens和Szegedy 2014），目標(biāo)是選擇其中一種或多種來(lái)組成更強(qiáng)的攻擊策略。在圖2（b）中，最簡(jiǎn)單的方法是選擇最佳的單個(gè)攻擊作為最終策略。然而，正如以前的工作（Tram`er和Boneh 2019）所示，單個(gè)攻擊者總是不夠強(qiáng)大和通用。一個(gè)更具潛力的解決方案（Croce和Hein 2020）是找到多個(gè)攻擊者，然后通過(guò)不斷選擇能夠成功欺騙模型的最佳輸出來(lái)集成它們（圖2（c））。集成攻擊雖然可以獲得較高的攻擊成功率，但只提供輸出級(jí)的聚合，沒(méi)有考慮不同攻擊機(jī)制之間的互補(bǔ)性。

在我們的復(fù)合對(duì)抗攻擊中，我們將攻擊策略定義為攻擊者的串行連接，其中前一個(gè)攻擊者的輸出作為后繼攻擊者的初始化輸入。在圖2（d）中，兩個(gè)攻擊者可以生成四種可能的排列。通過(guò)使用搜索算法來(lái)尋找最佳排列，我們證明了空間攻擊之后的FGSM攻擊可以獲得比它們的集合高26%的錯(cuò)誤率。我們政策的好處在于兩個(gè)方面：1）通過(guò)引入身份攻擊（即無(wú)攻擊），我們的CAA可以表示任何單個(gè)攻擊。集合攻擊也可以用CAA的策略集合來(lái)表示。因此，CAA是更廣義的表述。2） 一個(gè)強(qiáng)大的攻擊可以通過(guò)漸進(jìn)的步驟產(chǎn)生。以前的工作（Suya et al.2020）發(fā)現(xiàn)，在優(yōu)化攻擊方面，一些接近決策邊界的起點(diǎn)比原始種子更好。類似地，在CAA中，我們使用前面的攻擊者創(chuàng)建一個(gè)距離原始種子足夠遠(yuǎn)、距離邊界足夠近的樣本，以便后續(xù)的攻擊更容易找到一個(gè)更強(qiáng)的對(duì)手樣本。

具體地說(shuō)，CAA是通過(guò)包含多個(gè)選擇和攻擊操作順序的搜索空間來(lái)實(shí)現(xiàn)的。對(duì)于每個(gè)攻擊操作，有兩個(gè)超參數(shù)，即幅值和迭代步長(zhǎng)。我們采用NSGA-II遺傳算法（Deb等人，2002）來(lái)尋找能夠以最高的成功率突破目標(biāo)模型但復(fù)雜度最小的最佳攻擊策略。大量實(shí)驗(yàn)表明，CAA在兩個(gè)用例中取得了很好的改進(jìn)：1）CAA可以直接應(yīng)用于感興趣的目標(biāo)模型上，以找到最佳攻擊策略（$CA{A}_{dic}$）；2）學(xué)習(xí)策略可以在不同的任務(wù)下保持較高的成功率轉(zhuǎn)移到攻擊多模型體系結(jié)構(gòu)（$CA{A}_{sub}$）。我們?cè)u(píng)估了$CA{A}_{dic}$和$CA{A}_{sub}$最近提出的11項(xiàng)關(guān)于$l_{\infty }$, $l_2$和無(wú)限制設(shè)置。結(jié)果表明，我們的復(fù)合對(duì)抗攻擊在白盒場(chǎng)景中達(dá)到了最新的水平，大大降低了攻擊時(shí)間開(kāi)銷。

3、Preliminaries and Related work（準(zhǔn)備工作和相關(guān)工作）

Adversarial Attack

定義和概念 設(shè)$F:x\in [0,1{]}^D\to z\in R^K$是K類圖像分類器，其中$x$是$D$維圖像空間中的輸入圖像，$z$代表logits。假設(shè)$F$執(zhí)行得很好，并且正確地將$x$分類為它的基本真值標(biāo)簽$y$。對(duì)抗性攻擊的目的是找到一個(gè)在一定距離度量下接近原始$x$的對(duì)抗性樣本$x_{adv}$，但它會(huì)導(dǎo)致模型的錯(cuò)誤分類：$F（x_{adv}）=y$。

常規(guī)對(duì)抗樣本 常規(guī)的對(duì)抗樣本具有有限的擾動(dòng)幅度，這通常是通過(guò)在輸入$x$周圍的$?$半徑$l_p$球內(nèi)限定擾動(dòng)來(lái)實(shí)現(xiàn)的。它可以由$F(x_{adv})=y$受限于$||x_{adv}?x|{|}_p\le \lambda$。 快速梯度符號(hào)法（FGSM）是一種經(jīng)典的$l_{\infty }$ 對(duì)抗式攻擊方法沿?fù)p失函數(shù)梯度方向?qū)υ紭颖?span id="ozvdkddzhkzd" class="katex--inline">$x$進(jìn)行單步更新。使用基于動(dòng)量的多步優(yōu)化（Dong et al.2018）或擾動(dòng)的隨機(jī)初始化（Madry et al.2017），FGSM有許多改進(jìn)版本。基于$l_2$的攻擊，如DDNL2（Rony et al.2019）和C&W（Carlini and Wagner 2017）發(fā)現(xiàn)$x_{adv}$與原始樣本的$l_2$距離最小。基于$l_1$的攻擊者保證了擾動(dòng)的稀疏性，例如EAD（Chen等人，2017）。然而，$l_1$攻擊在實(shí)際攻擊環(huán)境中并不常用。因此，本文沒(méi)有在$l_1$約束下實(shí)現(xiàn)CAA。

無(wú)限制對(duì)抗樣本 無(wú)限制對(duì)抗性樣本是一種新型的不受范數(shù)有界小擾動(dòng)限制的對(duì)抗性樣本。在這種情況下，攻擊者可能會(huì)在不更改語(yǔ)義的情況下顯著更改輸入(Brown等人（2018）首先引入了無(wú)限制對(duì)抗樣本的概念，并提出了一個(gè)兩人無(wú)限制攻防比賽。最近，有許多工作旨在利用生成模型（Song et al.2018）或空間變換（Engstrom et al.2019）構(gòu)建這種更強(qiáng)的無(wú)限制攻擊。在本文中，我們還使用最大的搜索空間（總共19次攻擊）。我們發(fā)現(xiàn)，即使應(yīng)用非常簡(jiǎn)單的基本攻擊者來(lái)形成搜索空間，我們的CAA搜索的策略在不受限制的設(shè)置下仍然產(chǎn)生令人驚訝的攻擊能力。

Automated Machine Learning

我們的方法受到AutoML及其子方向（如神經(jīng)結(jié)構(gòu)搜索（NAS）和超參數(shù)優(yōu)化（HPO））的最新進(jìn)展的啟發(fā)。在AutoML中，搜索算法用于自動(dòng)選擇算法、特征預(yù)處理步驟和超參數(shù)。另一個(gè)類似的方向是AutoAugment（Cubuk et al.2018），它自動(dòng)搜索改進(jìn)的數(shù)據(jù)增強(qiáng)策略。這些自動(dòng)化技術(shù)不僅使人們擺脫了算法繁瑣的過(guò)程微調(diào)的同時(shí)，也大大提高了學(xué)習(xí)系統(tǒng)的效果和效率。在本文中，我們采用了AutoML中的一些搜索技術(shù)，證明了搜索更好的算法和參數(shù)也有助于對(duì)抗性攻擊。

Composite Adversarial Attacks（復(fù)合對(duì)抗攻擊）

Problem formulation（問(wèn)題描述）

假設(shè)我們有一個(gè)帶注釋的數(shù)據(jù)集$X，Y$和一組帶有一些未知超參數(shù)的攻擊算法。本文將每種攻擊算法看作一個(gè)操作$A:x\in [0,1{]}^D\to x_{adv}\in [0，1{]}^D$，將輸入$x$轉(zhuǎn)換為圖像空間上的對(duì)抗性$x_{adv}$。A在不同的攻擊設(shè)置下有不同的選擇。例如，在白盒對(duì)抗攻擊中，A直接優(yōu)化輸入$x$周圍$?$半徑球內(nèi)的擾動(dòng)$\delta$，以使分類誤差最大化：

其中，$L$通常指交叉熵?fù)p失，$||.|{|}_p$表示$l_p$范數(shù)，并且$?$是$l_p$范數(shù)的界。$?$可以看作$A$的超參數(shù)。此外，還有許多其他攻擊設(shè)置，例如黑盒攻擊（Uesato et al.2018；Andrishchenko等人，2019年），無(wú)限制對(duì)抗性攻擊（Brown等人，2018年）。我們以統(tǒng)一的方式將它們表示為攻擊行動(dòng)。

假設(shè)我們有一組基本攻擊操作，表示為$A$={$A_1，A_2\dots A_k$}，其中$k$是攻擊操作的總數(shù)。復(fù)合對(duì)抗攻擊的目標(biāo)是通過(guò)搜索攻擊操作的最佳組合和每個(gè)操作的超參數(shù)，實(shí)現(xiàn)對(duì)抗攻擊過(guò)程的自動(dòng)化，從而實(shí)現(xiàn)更一般、更強(qiáng)大的攻擊。在這項(xiàng)工作中，我們只考慮攻擊算法中兩個(gè)最常見(jiàn)的超參數(shù)：1）攻擊幅度$?$（也相當(dāng)于擾動(dòng)的最大$l_p$范數(shù)）和2）攻擊的優(yōu)化步驟t。為了限制兩個(gè)超參數(shù)的搜索范圍，給出了兩個(gè)區(qū)間：$?$∈ [0，${?}_{max}$]和t∈ [0，$t_{max}$]，其中${?}_{max}$和$t_{max}$是用戶預(yù)定義的每次攻擊的最大幅度和迭代次數(shù)。在本文中，我們不搜索攻擊步長(zhǎng)，因?yàn)樗c優(yōu)化步長(zhǎng)t有關(guān)。相反，所有需要步長(zhǎng)參數(shù)（如PGD）的攻擊都會(huì)根據(jù)以前的方法修改為無(wú)步長(zhǎng)版本（Croce和Hein 2020）。因此，可以基于優(yōu)化步長(zhǎng)自適應(yīng)地改變步長(zhǎng)。然后我們可以將策略定義為各種攻擊的組合，由N個(gè)連續(xù)的攻擊操作組成：

其中 {$A_n^s\in A|n=1,...,N$}是從單獨(dú)的攻擊中采樣的攻擊者，{{${?}_{sn}$, $t_{sn}$} | $n=1,...,N$}是每個(gè)攻擊的超參數(shù)。結(jié)合不同的攻擊操作和超參數(shù)，我們可以得到上千種可能的策略。

Constraining lp-Norm by Re-projection（重投影約束lp范數(shù)）

式2中給出的攻擊策略是一種一般形式，對(duì)全局?jǐn)_動(dòng)沒(méi)有約束。當(dāng)攻擊序列變長(zhǎng)時(shí)，每個(gè)攻擊算法的計(jì)算擾動(dòng)會(huì)累積，導(dǎo)致對(duì)原始輸入的最終擾動(dòng)變大。為了解決這個(gè)問(wèn)題，我們?cè)趦蓚€(gè)連續(xù)的攻擊算法之間插入一個(gè)重投影模塊。在圖3中，重投影模塊首先確定先前攻擊者上累積的$?$是否大于策略的${?}_{global}$。如果是，則對(duì)累積擾動(dòng)進(jìn)行剪裁或重新縮放，使$l_p$范數(shù)在${?}_{global}$中有界。通過(guò)這種修改，我們可以對(duì)任何$l_p$范數(shù)條件使用復(fù)合對(duì)抗攻擊。

Search Objective（搜索目標(biāo)）

搜索對(duì)象以往的工作通常以攻擊成功率（ASR）或魯棒精度（RA）作為目標(biāo)來(lái)設(shè)計(jì)算法。然而，這些目標(biāo)可以以花費(fèi)更多的時(shí)間為代價(jià)來(lái)實(shí)現(xiàn)。例如，最近提出的工程（Gowal等人，2019年；Tashiro 2020）使用隨機(jī)重啟或多目標(biāo)等技巧，以獲得更高的成功率，同時(shí)犧牲運(yùn)行效率。這使得他們的算法非常慢（甚至比一些黑盒攻擊更耗時(shí)）。在這項(xiàng)工作中，我們強(qiáng)調(diào)一個(gè)好的和強(qiáng)大的攻擊者應(yīng)該是既有效又高效的。為了達(dá)到這個(gè)目標(biāo)，我們?cè)O(shè)計(jì)了兩個(gè)最小化的目標(biāo)，即魯棒精度和復(fù)雜性。

接下來(lái)，我們將闡述這兩個(gè)客觀條件。第一項(xiàng)RA（魯棒精度）是目標(biāo)模型對(duì)生成的對(duì)抗樣本的準(zhǔn)確性。這也反映了攻擊者的實(shí)力。對(duì)于第二項(xiàng)復(fù)雜度，我們使用梯度評(píng)估的次數(shù)作為復(fù)雜度度量。對(duì)于常規(guī)攻擊算法，梯度求值次數(shù)表示攻擊算法在攻擊過(guò)程中計(jì)算目標(biāo)模型梯度的次數(shù)，通常等于優(yōu)化步驟t。因此，我們可以將總體目標(biāo)函數(shù)表述為：

其中$s（x）$表示針對(duì)輸入$x$的攻擊策略的輸出，$N$是攻擊策略的長(zhǎng)度，$\alpha$是權(quán)衡攻擊強(qiáng)度和復(fù)雜性的系數(shù)。然后，我們可以應(yīng)用搜索算法，通過(guò)最小化目標(biāo)$L$，從數(shù)千個(gè)可能的策略中找到最優(yōu)攻擊策略$s^{?}$：

Search Space（搜索空間）

我們的搜索空間分為兩部分：1）搜索攻擊操作的選擇和順序；2） 搜索每次攻擊行動(dòng)的幅值$?$和步數(shù)$t$。對(duì)于由$N$個(gè)基本攻擊操作組成的攻擊策略，攻擊操作搜索形成了$||A|{|}^N$個(gè)可能性的問(wèn)題空間。此外，每個(gè)操作還與它們的幅度和步長(zhǎng)相關(guān)聯(lián)。我們將$?$和$t$的大小范圍離散為8個(gè)值（均勻間距），這樣就可以將復(fù)合對(duì)抗攻擊搜索簡(jiǎn)化為一個(gè)離散優(yōu)化問(wèn)題。最后，整個(gè)搜索空間的總大小為$(8?8?||A|{|}^N)$。

本文研究了三類策略空間，即構(gòu)建了$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$。我們分別空間$S_{l_{\infty }},S_{l_2}$實(shí)施六個(gè)$l_{\infty }$-攻擊者和六個(gè)$l_2$-攻擊者。在不受限制的情況下，我們使用了更大的搜索空間和19個(gè)實(shí)現(xiàn)的攻擊算法。另外，所有的$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$也采用身份攻擊來(lái)表示身份操作。圖4示出了每個(gè)搜索空間中的攻擊策略的輸出可視化。

Search Strategy（搜索策略）

搜索策略在尋找最佳攻擊策略中起著重要的作用。在我們的問(wèn)題設(shè)置中，搜索空間的規(guī)模相對(duì)較小。而且策略評(píng)估的成本比NAS等其他任務(wù)要低得多。這允許我們使用一些高性能的搜索算法。我們比較了三種廣泛使用的方法，即貝葉斯優(yōu)化（Snoek、Larochelle和Adams 2012）、強(qiáng)化學(xué)習(xí)（Zoph和Le 2016）和NSGA-II遺傳算法（Deb等人，2002）。詳細(xì)的實(shí)現(xiàn)和比較見(jiàn)附錄B。雖然貝葉斯優(yōu)化和強(qiáng)化學(xué)習(xí)在AutoML領(lǐng)域被廣泛認(rèn)為是有效的，但是在這個(gè)問(wèn)題中，我們發(fā)現(xiàn)它們更耗時(shí)，收斂速度也更慢。相比之下，NSGA-II更快，因?yàn)樵谒阉髌陂g不需要額外的模型優(yōu)化過(guò)程。它只需要對(duì)種群更新進(jìn)行幾次迭代就可以快速找到最優(yōu)解。

詳細(xì)地說(shuō)，NSGA-II需要維護(hù)所有可能的策略的有限集和將每個(gè)策略$s\in S$映射到實(shí)數(shù)R集的策略評(píng)估函數(shù)。在這項(xiàng)工作中，我們使用公式3作為政策評(píng)估函數(shù)。NSGA-II算法分三步探索潛在攻擊策略的空間，即種群初始化步驟，生成具有隨機(jī)策略的種群$P_0$；探索步驟，包括攻擊策略的交叉和變異，最后是一個(gè)開(kāi)發(fā)步驟，利用存儲(chǔ)在整個(gè)評(píng)估策略歷史中的隱藏有用知識(shí)，找到最優(yōu)策略。整個(gè)過(guò)程如Alg1所示。在本文的剩余工作中，我們采用了NSGA-II算法進(jìn)行策略搜索。

4、Experiments

Experiment Setup

為了驗(yàn)證CAA的性能，在11個(gè)開(kāi)源防御模型上對(duì)$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$的搜索攻擊策略進(jìn)行了評(píng)估。我們?cè)贑IFAR-10（Krizhevsky，Hinton等人，2009）和ImageNet（Deng等人，2009）數(shù)據(jù)集上進(jìn)行了$l_{\infty }$和$l_2$攻擊實(shí)驗(yàn)。我們對(duì)Bird&Bicycle（Brown et al.2018）數(shù)據(jù)集執(zhí)行無(wú)限制攻擊。穩(wěn)健的準(zhǔn)確度被記錄為測(cè)量，以與最近10名頂級(jí)攻擊者進(jìn)行比較。在執(zhí)行過(guò)程中，我們將政策的所有中間結(jié)果與（Croce和Hein 2020）相似地進(jìn)行整合。

Details of Search Space（搜索空間的詳細(xì)信息）CAA的候選池由32個(gè)攻擊操作組成，即6個(gè)$l_{\infty }$-攻擊、6次$l_2$攻擊、19次無(wú)限制攻擊和最后一次身份攻擊（即身份操作）。已實(shí)現(xiàn)的攻擊算法的詳細(xì)摘要如表1所示。1.我們借用了開(kāi)源攻擊工具箱中的一些算法的代碼，比如Foolbox（Rauber，Brendel，Bethge 2017）和Advertorch（Ding，Wang，Jin 2019）。每個(gè)基本攻擊者的實(shí)現(xiàn)和引用可在附錄A中找到。

Data configuration（數(shù)據(jù)配置） 對(duì)于CIFAR-10，我們?cè)谝粋€(gè)小的子集上搜索最佳策略，該子集包含從序列集中隨機(jī)選擇的4000個(gè)樣本。測(cè)試集中總共有10000個(gè)樣本用于評(píng)估搜索到的策略。對(duì)于ImageNet，由于整個(gè)驗(yàn)證集比較大，我們分別從訓(xùn)練和測(cè)試數(shù)據(jù)庫(kù)中隨機(jī)選取1000張圖像進(jìn)行策略搜索和1000張圖像進(jìn)行評(píng)估。對(duì)于Bird&Bicycle，我們使用所有250個(gè)測(cè)試圖像進(jìn)行評(píng)估，并隨機(jī)選擇1000個(gè)訓(xùn)練圖像進(jìn)行攻擊策略搜索。

Summary of Experiments（實(shí)驗(yàn)摘要）我們調(diào)查了四種情況：1）最佳攻擊，在候選池中搜索最佳單個(gè)攻擊者；2） 誘捕攻擊，搜索多個(gè)攻擊者的合謀；3） $CA{A}_{dic}$，直接搜索給定數(shù)據(jù)集上的CAA策略；4）$CA{A}_{sub}$，通過(guò)攻擊對(duì)抗性訓(xùn)練CIFAR10模型作為替代進(jìn)行搜索，并轉(zhuǎn)移到其他模型或任務(wù)中。為了公平起見(jiàn)，我們將我們的方法與之前最先進(jìn)的攻擊者在11個(gè)收集的防御模型上進(jìn)行了比較：Advtrain（Madry et al.2017）、TRADES（Zhang et al.2019）、AdvPT（Hendrycks、Lee和Mazeika 2019）、MMA（Ding et al.2019）、JEM（Grathwohl et al.2019）、PCL（Mustafa et al.2019）、Semi Adv（Carmon et al.2019）、FD（Xie et al.2019），AdvFree（Shafahi等人，2019年），貿(mào)易24和LLR5。接下來(lái)，我們利用多種體系結(jié)構(gòu)（VGG16（Simonyan 2014）、ResNet50（He et al.2016）、Inception（Szegedy et al.2015）和數(shù)據(jù)集（MNIST（LeCun et al.1998）、CIFAR-100、SVHN（Netzer et al.））來(lái)研究CAA在黑盒和白盒設(shè)置下的可轉(zhuǎn)移性。最后，研究了不同策略搜索算法和攻擊策略長(zhǎng)度N的影響。分析了非目標(biāo)攻擊和目標(biāo)攻擊搜索策略的區(qū)別。在這些燒蝕實(shí)驗(yàn)中可以發(fā)現(xiàn)一些見(jiàn)解。

Comparison with State-of-the-Art（與最新技術(shù)的比較）表2表示$l_{\infty }$-基于四種變體的攻擊結(jié)果，即：$CA{A}_{sub}$、 $CA{A}_{dic}$、EnsAttack和BestAttack對(duì)CIFAR-10的攻擊數(shù)據(jù)集。大多數(shù)的研究工作都是在這種情況下研究模型的穩(wěn)健性，因此我們可以收集更多的防御來(lái)進(jìn)行評(píng)估。比較的攻擊者是150步ODI-PGD（10步ODI和20次重啟），100步PGD和APGD（10次重啟），FAB和AA。FAB和AA的超參數(shù)與原論文（Croce和Hein 2020）一致。所有這些攻擊者的梯度評(píng)估總數(shù)（復(fù)雜度）都大于1000。相比之下，我們的CAAsub具有較低的復(fù)雜度（800），并且以較高的錯(cuò)誤率破壞了模型。這意味著即使是替換攻擊策略也可能具有較高的時(shí)間效率和可靠性。直接搜索感興趣的任務(wù)可以進(jìn)一步提高性能。從表的最后一行可以看出， $CA{A}_{dic}$建立了更強(qiáng)的攻擊策略，魯棒精度平均下降了0.1%。除了CAA之外，我們還評(píng)估了圖2中的兩個(gè)可選方案：BestAttack和EnsAttack。BestAttack的最終搜索策略是MT LinfAttack，在$S_{l_{\infty }}$條件它是中最強(qiáng)的攻擊者。然而，結(jié)果表明，最好的單個(gè)攻擊者在現(xiàn)有方法面前并不具有競(jìng)爭(zhēng)力。EnsAttack搜索包含MT-Linf、PGD-Linf和CW-Linf攻擊的策略。與BestAttack相比，EnsAttack融合了多個(gè)攻擊，取得了更好的效果。但這仍然比民航局的政策更糟糕。這意味著CAA在經(jīng)驗(yàn)上比攻擊者的集合更好。對(duì)于CIFAR-10上基于$l_2$的攻擊，我們的方法也有很好的性能。

ImageNet上的結(jié)果顯示在表3。我們證明了這一點(diǎn)與CIFAR-10相比，CAA在ImageNet上獲得了更大的改進(jìn)，尤其是$CA{A}_{sub}$在攻擊$l_{\infty }$對(duì)抗訓(xùn)練模型時(shí)，準(zhǔn)確率達(dá)到了38.30%，比最先進(jìn)的模型提高了2%左右。這意味著CAA更適合攻擊復(fù)雜的分類任務(wù)。ImageNet分類有更多的分類和更大的圖像輸入大小。此外，我們還發(fā)現(xiàn)，在ImageNet上，由基礎(chǔ)攻擊者生成的對(duì)抗性示例更加多樣化。對(duì)于這樣一個(gè)復(fù)雜的任務(wù)，攻擊策略的設(shè)計(jì)有更大的空間。

對(duì)于無(wú)限制攻擊，我們選擇了在無(wú)限制對(duì)抗示例競(jìng)賽（Brown et al.2018）中提出的Bird&Bicycle基準(zhǔn)。排名前兩位的防御模型LLR和TRADESv2用于評(píng)估。為了公平起見(jiàn)，我們只使用競(jìng)賽中的熱身攻擊作為搜索空間$S_{unrestricted,}$，避免了防御模型從未見(jiàn)過(guò)的攻擊。LLR和TRADESv2對(duì)腐敗、空間攻擊和SPSA攻擊的魯棒準(zhǔn)確率接近100%。但在CAA合成這些攻擊后，LLR和TRADESv2的魯棒精度迅速下降到零左右。結(jié)果表明，現(xiàn)有的無(wú)限制對(duì)抗防御模型對(duì)單個(gè)測(cè)試攻擊者的適應(yīng)性嚴(yán)重過(guò)強(qiáng)。在不受限制的攻擊環(huán)境中，我們無(wú)法很好地防御CAA。因此，我們認(rèn)為要實(shí)現(xiàn)真正的無(wú)限制對(duì)抗健壯性，還有很多工作要做。

Analysis of searched policy（搜索策略分析）我們將搜索到的關(guān)于$S_{l_{\infty }},S_{l_2}$和$S_{unrestricted}$的最佳策略可視化到Tab2。在CIFAR-10分類任務(wù)中，通過(guò)攻擊敵方訓(xùn)練模型來(lái)搜索策略。在所有$l_{\infty }$和$l_2$和無(wú)限制攻擊場(chǎng)景中，CAA都傾向于選擇強(qiáng)攻擊。以$S_{l_{\infty }}$策略為例，CAA選擇最強(qiáng)的MT-LinfAttack作為第一和第二位置攻擊，放棄較弱的攻擊者，如一步FGSM。因此，我們認(rèn)為一個(gè)良好的候選攻擊池對(duì)CAA的性能至關(guān)重要。另一個(gè)基礎(chǔ)是CAA喜歡一些不同的基礎(chǔ)攻擊者組合的策略。這意味著由MI-Linf和PGD-Linf攻擊形成的策略通常不會(huì)有什么改進(jìn)，因?yàn)樗鼈冎g的差別很小（原理和目標(biāo)函數(shù)相同）。相比之下，在$S_{l_{\infty }}$的最佳策略中，CAA選擇了更為多樣化的基于邊緣丟失的CW-Linf攻擊來(lái)輔助基于交叉熵丟失的攻擊者，從而提高了攻擊性能。

Attack transferability（攻擊可轉(zhuǎn)讓性）我們研究了CAA在兩種情況下的可轉(zhuǎn)移性：1）黑盒設(shè)置和2）白盒設(shè)置。在黑盒設(shè)置下，我們無(wú)法得到目標(biāo)模型的梯度。相反，我們使用CAA搜索替代模型上的策略，并生成對(duì)抗樣本來(lái)攻擊目標(biāo)模型。在白盒設(shè)置中，允許梯度評(píng)估，因此在替代任務(wù)或模型上搜索的策略用于直接在目標(biāo)模型上生成對(duì)抗性樣本。

Black-box Transferability of CAA（CAA的黑盒可轉(zhuǎn)移性）這里我們討論CAA是否可以用于搜索黑盒轉(zhuǎn)移攻擊。為了滿足這一要求，我們對(duì)原來(lái)的CAA做了一些修改。具體來(lái)說(shuō)，在對(duì)抗性樣本生成階段，我們使用攻擊策略s來(lái)攻擊替代模型。然后在目標(biāo)模型上對(duì)這些對(duì)抗樣本進(jìn)行了測(cè)試。以目標(biāo)模型的魯棒精度作為策略的評(píng)價(jià)分?jǐn)?shù)。除此之外，整個(gè)搜索過(guò)程保持不變。我們把這個(gè)變體命名為$CA{A}_{trans}$。在攻擊可轉(zhuǎn)移性實(shí)驗(yàn)中，我們使用了三種不同體系結(jié)構(gòu)的模型（VGG16、Inceptionv3和ResNet50），并通過(guò)標(biāo)準(zhǔn)對(duì)抗訓(xùn)練進(jìn)行防御。結(jié)果記錄在Tab中4.第一列顯示實(shí)驗(yàn)設(shè)置。例如，R→V意味著我們使用ResNet50作為替代模型來(lái)攻擊VGG16。

結(jié)果表明，在大多數(shù)轉(zhuǎn)移攻擊環(huán)境下，CAA都能獲得更好的性能。特別是采用VGG16作為替代模型時(shí)，攻擊強(qiáng)度明顯提高，目標(biāo)模型精度下降3%。結(jié)果表明，自動(dòng)搜索過(guò)程也有助于發(fā)現(xiàn)更黑盒可轉(zhuǎn)移的攻擊策略，而不限于白盒情況。通過(guò)對(duì)附錄D中搜索到的可轉(zhuǎn)移策略的可視化，我們發(fā)現(xiàn)$CA{A}_{trans}$沒(méi)有采用某些“強(qiáng)”攻擊，因?yàn)榇祟惞艨赡芫哂休^差的可轉(zhuǎn)移性。相反，策略中選擇了FGSM或MI-Linf攻擊作為更好的可轉(zhuǎn)移組件，這解釋了$CA{A}_{trans}$可以提高攻擊可轉(zhuǎn)移性的原因。

White-box Transferability of CAA（CAA的白盒可轉(zhuǎn)移性）在這里，我們?cè)噲D了解是否有可能在白盒情況下轉(zhuǎn)移攻擊策略，即在替代任務(wù)或模型上搜索的策略用于攻擊目標(biāo)模型。詳細(xì)的實(shí)驗(yàn)見(jiàn)附錄C。從結(jié)果來(lái)看，我們強(qiáng)調(diào)CIFAR-10上搜索到的策略仍然可以很好地轉(zhuǎn)移到許多模型體系結(jié)構(gòu)和數(shù)據(jù)集。因此，我們相信CAA不會(huì)“過(guò)度適應(yīng)”數(shù)據(jù)集或模型體系結(jié)構(gòu)，它確實(shí)找到了抓住真正弱點(diǎn)的有效策略，并且可以應(yīng)用于所有此類問(wèn)題。但是，不能保證攻擊策略在防御系統(tǒng)之間傳輸。提高防御系統(tǒng)間可轉(zhuǎn)移性的一個(gè)經(jīng)驗(yàn)做法是在候選池中使用更強(qiáng)、更多樣化的攻擊算法。引用位于表2。通過(guò)在$S_{l_{\infty }}$中使用6個(gè)強(qiáng)攻擊者，$CA{A}_{sub}$在多種防御模型上都取得了令人滿意的效果。

5、Ablations

Analysis of the policy length N （策略長(zhǎng)度N的分析）我們進(jìn)行了一系列的實(shí)驗(yàn)，以探討一個(gè)較長(zhǎng)的策略是否具有更強(qiáng)的攻擊能力，該策略可以采用更多、多樣的基攻擊者。我們選擇了長(zhǎng)度為1、2、3、5和7的五個(gè)策略。圖5顯示了魯棒精度隨策略長(zhǎng)度的曲線。當(dāng)N=1時(shí)，CAA等于在候選池中找到最佳的基攻擊者，因此在這種情況下性能最差。隨著N的增加，攻擊策略在所有$l_{\infty }$、$l_2$和無(wú)限制設(shè)置下都變得更強(qiáng)。我們發(fā)現(xiàn)策略長(zhǎng)度對(duì)$l_2$攻擊設(shè)置的影響最小。基本攻擊越多，二級(jí)攻擊的優(yōu)化步驟就越多，這是合理的。相比之下，N對(duì)無(wú)限制攻擊的性能影響很大。當(dāng)使用大于3的搜索攻擊策略時(shí)，在不受限制的設(shè)置下，準(zhǔn)確率迅速下降到零左右。

Different Search Methods（不同的搜索方法） 表5介紹了隨機(jī)搜索、貝葉斯優(yōu)化、強(qiáng)化學(xué)習(xí)和NSGA-II遺傳算法四種優(yōu)化方法的性能和搜索時(shí)間。每種方法的詳細(xì)實(shí)現(xiàn)見(jiàn)附錄B。隨機(jī)搜索是以100個(gè)隨機(jī)策略進(jìn)行試驗(yàn)并選出最佳策略作為基線。與基線相比，所有啟發(fā)式算法都能找到更好的策略。雖然貝葉斯優(yōu)化和強(qiáng)化學(xué)習(xí)在大空間搜索中被廣泛認(rèn)為是有效的，但是在這個(gè)問(wèn)題中，我們發(fā)現(xiàn)它們更耗時(shí)，更容易陷入局部最優(yōu)。相比之下，NSGA-II以3gpu/d的低成本找到更好的策略，并獲得更好的性能。

Target vs. Non-target attack（目標(biāo)與非目標(biāo)攻擊）目標(biāo)攻擊是一種特殊的應(yīng)用場(chǎng)景，攻擊者通過(guò)欺騙模型來(lái)輸出他們想要的目標(biāo)標(biāo)簽。否則，沒(méi)有給出目標(biāo)標(biāo)簽就稱為非目標(biāo)攻擊。我們?cè)诟戒汣中的目標(biāo)攻擊設(shè)置下對(duì)CAA進(jìn)行了實(shí)驗(yàn)。對(duì)于目標(biāo)攻擊，CAA搜索隨機(jī)初始化較少的策略。這表明沒(méi)有隨機(jī)初始化的攻擊者更適合目標(biāo)設(shè)置。此外，與邊際損失相比，交叉熵?fù)p失的基攻擊者更受CAA的青睞。CAA搜索的策略在目標(biāo)攻擊方面也得到了改進(jìn)。

6、Conclusion

我們提出了一個(gè)自動(dòng)學(xué)習(xí)攻擊策略的過(guò)程，該過(guò)程是由一系列基本攻擊者組成的，用于破壞ML系統(tǒng)。通過(guò)將我們的搜索策略與10個(gè)最近的攻擊者在11種不同防御方式下的搜索策略進(jìn)行比較，表明我們的方法在較短的運(yùn)行時(shí)間內(nèi)獲得了較好的攻擊成功率。經(jīng)驗(yàn)證明，搜索更好的算法和超參數(shù)也有助于對(duì)抗性攻擊。

我們認(rèn)為我們工作的最重要的擴(kuò)展是如何防御能夠自動(dòng)搜索最強(qiáng)攻擊算法的攻擊者。從這個(gè)角度出發(fā)，我們將在今后的工作中研究基于CAA的對(duì)抗性訓(xùn)練方法

總結(jié)

以上是生活随笔為你收集整理的【全文翻译】Composite Adversarial Attacks的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。