Explaining and Harnessing Adversarial Examples

包括神經(jīng)網(wǎng)絡(luò)在內(nèi)的一些機(jī)器學(xué)習(xí)模型，始終對(duì)對(duì)抗性樣本進(jìn)行錯(cuò)誤分類–通過(guò)對(duì)數(shù)據(jù)集中的例子應(yīng)用小的但有意的最壞情況下的擾動(dòng)形成的輸入，這樣擾動(dòng)的輸入導(dǎo)致模型以高置信度輸出一個(gè)錯(cuò)誤的答案。早期解釋這種現(xiàn)象的嘗試集中在非線性和過(guò)擬合上.我們反而認(rèn)為，神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗性擾動(dòng)的脆弱性的主要原因是它們的線性性質(zhì)。這種解釋得到了新的定量結(jié)果的支持，同時(shí)給出了關(guān)于它們最有趣的事實(shí)的第一個(gè)解釋：它們?cè)诩軜?gòu)和訓(xùn)練集之間的泛化。此外，這種觀點(diǎn)還產(chǎn)生了一種簡(jiǎn)單而快速的生成對(duì)抗性例子的方法。利用這種方法為對(duì)抗性訓(xùn)練提供實(shí)例，我們減少了MNIST數(shù)據(jù)集上maxout網(wǎng)絡(luò)的測(cè)試集誤差。

1 INTRODUCTION

Szegedy等人（2014b）有一個(gè)有趣的發(fā)現(xiàn)：一些機(jī)器學(xué)習(xí)模型，包括最先進(jìn)的神經(jīng)網(wǎng)絡(luò)，容易受到對(duì)抗性例子的影響。也就是說(shuō)，這些機(jī)器學(xué)習(xí)模型會(huì)錯(cuò)誤地分類那些與從數(shù)據(jù)分布中抽取的正確分類的例子僅有輕微差異的例子。在許多情況下，在訓(xùn)練數(shù)據(jù)的不同子集上訓(xùn)練的具有不同架構(gòu)的各種模型會(huì)對(duì)同一個(gè)對(duì)抗性例子進(jìn)行錯(cuò)誤分類.這表明對(duì)抗性例子暴露了我們訓(xùn)練算法的基本盲點(diǎn)。

這些對(duì)抗性例子的原因是一個(gè)謎，推測(cè)性的解釋表明，這是由于深層神經(jīng)網(wǎng)絡(luò)的極端非線性，可能加上模型平均值不足和純監(jiān)督學(xué)習(xí)問(wèn)題的正則化不足。我們證明這些推測(cè)性假設(shè)是不必要的。高維空間中的線性行為足以引起對(duì)抗性的例子。這一觀點(diǎn)使我們能夠設(shè)計(jì)出一種快速生成對(duì)抗性例子的方法，使對(duì)抗性訓(xùn)練切實(shí)可行。

一般的正則化策略，如退出、預(yù)訓(xùn)練和模型平均，并不能顯著降低模型在對(duì)抗性樣本中的脆弱性，但改變?yōu)榉蔷€性模型族（如RBF網(wǎng)絡(luò)）可以做到這一點(diǎn)。

我們的解釋表明，在設(shè)計(jì)因其線性而易于訓(xùn)練的模型和設(shè)計(jì)利用非線性效應(yīng)抵抗對(duì)抗性擾動(dòng)的模型之間存在著基本的緊張關(guān)系。從長(zhǎng)遠(yuǎn)來(lái)看，通過(guò)設(shè)計(jì)更強(qiáng)大的優(yōu)化方法，可以成功地訓(xùn)練更多的非線性模型，也許可以擺脫這種權(quán)衡。

2 RELATED WORK

Szegedy等人(2014b)展示了神經(jīng)網(wǎng)絡(luò)和相關(guān)模型的各種有趣特性。與本文件最相關(guān)的內(nèi)容包括:

盒約束的L-BFGS可以可靠地找到對(duì)抗性的樣本。

在一些數(shù)據(jù)集上，比如ImageNet (Deng et al.， 2009)，對(duì)抗性的樣本與原始樣本非常接近，人眼無(wú)法分辨出差異。

同一個(gè)對(duì)抗式示例常常被具有不同架構(gòu)的各種分類器錯(cuò)誤地分類，或者在訓(xùn)練數(shù)據(jù)的不同子集上進(jìn)行訓(xùn)練。

淺的softmax回歸模型也容易受到敵對(duì)實(shí)例的攻擊。

在對(duì)抗性例子上進(jìn)行訓(xùn)練可以使模型正規(guī)化——但是，這在當(dāng)時(shí)并不實(shí)際，因?yàn)樾枰趦?nèi)部循環(huán)中進(jìn)行昂貴的約束優(yōu)化。

這些結(jié)果表明，基于現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)的分類器，即使是那些在測(cè)試集上獲得優(yōu)異性能的分類器，也沒(méi)有學(xué)習(xí)真正的底層概念，而這些概念決定了正確的輸出標(biāo)簽。相反，這些算法建立了一個(gè)Potemkin村，對(duì)自然出現(xiàn)的數(shù)據(jù)很有效，但是當(dāng)一個(gè)人訪問(wèn)空間中的數(shù)據(jù)分布概率不高的點(diǎn)時(shí)，就會(huì)被暴露為假的。這尤其令人失望，因?yàn)橛?jì)算機(jī)視覺(jué)中一種流行的方法是使用卷積網(wǎng)絡(luò)特征作為歐幾里德距離近似于感知距離的空間。如果感知距離非常小的圖像對(duì)應(yīng)于網(wǎng)絡(luò)表示中完全不同的類，那么這種相似性顯然是有缺陷的。

這些結(jié)果常常被解釋為是一個(gè)缺陷，特別是在深層網(wǎng)絡(luò)，即使線性分類器有同樣的問(wèn)題。我們認(rèn)為，對(duì)這一缺陷的了解是解決這一問(wèn)題的一個(gè)機(jī)會(huì)。

3 THE LINEAR EXPLANATION OF ADVERSARIAL EXAMPLES

我們從解釋線性模型的對(duì)抗性例子的存在開始。

在許多問(wèn)題中，單個(gè)輸入特征的精度是有限的。例如，數(shù)字圖像通常每像素只使用8位，因此它們會(huì)丟棄動(dòng)態(tài)范圍1/255以下的所有信息。由于特征的精度是有限的，分類器對(duì)輸入x和對(duì)抗性輸入$x=x+\eta$做出不同的響應(yīng)是不合理的如果每個(gè)元素的擾動(dòng)$\eta$是小于精度的特征。形式上，對(duì)于分離良好的類的問(wèn)題，我們期望分類器將相同的類分配給$x$和$x$只要$\parallel \eta {\parallel }_{\infty }\in ?$，$?$是小到足以被與我們的問(wèn)題相關(guān)的傳感器或數(shù)據(jù)存儲(chǔ)設(shè)備丟棄。

考慮權(quán)向量w和一個(gè)對(duì)抗樣本 $x$ 之間的點(diǎn)積:

$w^{T}x=w^{T}x+w^T\eta$

對(duì)抗性干擾使激活增加$w^T\eta$。我們可以通過(guò)指定$\eta =sign(w)$，在 $\eta$ 的最大范數(shù)約束下，最大化此增量。如果w有n個(gè)維度，且權(quán)重向量中一個(gè)元素的平均幅度為m，那么激活度將增長(zhǎng)$?mn$。由于$\parallel \eta {\parallel }_{\infty }$不隨問(wèn)題的維數(shù)而增長(zhǎng)，但 $\eta$ 的擾動(dòng)引起的激活變化可隨n線性增長(zhǎng)，因此對(duì)于高維問(wèn)題，我們可以對(duì)輸入進(jìn)行許多無(wú)窮小的變化，這些變化加起來(lái)等于對(duì)輸出的一個(gè)大的變化。

這一解釋表明，如果一個(gè)簡(jiǎn)單的線性模型的輸入具有足夠的維數(shù)，那么它可以有對(duì)抗性的例子。先前對(duì)對(duì)抗性例子的解釋援引了神經(jīng)網(wǎng)絡(luò)的假設(shè)性質(zhì)，例如它們假定的高度非線性性質(zhì)。我們基于線性的假設(shè)更簡(jiǎn)單，也可以解釋為什么softmax回歸容易受到對(duì)抗性例子的影響。

4 LINEAR PERTURBATION OF NON-LINEAR MODELS

對(duì)抗性例子的線性觀點(diǎn)提出了一種快速生成它們的方法。我們假設(shè)神經(jīng)網(wǎng)絡(luò)過(guò)于線性，無(wú)法抵抗線性對(duì)抗性擾動(dòng)。LSTMs(Hochreiter &Schmidhuber，1997)、ReLUs(Jarrett等人，2009;Glorot等人，2011)和maxout網(wǎng)絡(luò)(Goodfellow等人，2013c)都被有意設(shè)計(jì)成以非常線性的方式表現(xiàn)，因此它們更容易優(yōu)化。

更多的非線性模型，如sigmoid網(wǎng)絡(luò)，由于同樣的原因被仔細(xì)地調(diào)整，使其大部分時(shí)間花在非飽和、更線性的區(qū)域。這種線性行為表明，線性模型的廉價(jià)、分析性擾動(dòng)也會(huì)損害神經(jīng)網(wǎng)絡(luò)。

圖1：在ImageNet上應(yīng)用于GoogLeNet的快速對(duì)抗性例子生成演示。通過(guò)添加一個(gè)不可感知的小向量，其元素等于成本函數(shù)的梯度相對(duì)于輸入的元素的符號(hào)，我們可以改變GoogLeNet對(duì)圖像的分類。這里我們的 $?$ 為0.007，對(duì)應(yīng)的是8位圖像編碼在GoogLeNet轉(zhuǎn)換為實(shí)數(shù)后最小位的大小。

讓$\theta$為模型的參數(shù)，x為模型的輸入，y為x的標(biāo)簽，$J(\theta ,x,y)$是用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的損失函數(shù)。我們可以在 $\theta$ 的當(dāng)前值附近線性化代價(jià)函數(shù)，得到最優(yōu)最大范數(shù)約束擾動(dòng)

$\eta =?sign({?}_{x}J(\theta ,x,y))$

我們將其稱為生成對(duì)抗性例子的“快速梯度符號(hào)法”。注意，使用反向傳播可以有效地計(jì)算所需的梯度。

**我們發(fā)現(xiàn)，該方法能可靠地導(dǎo)致各種模型對(duì)輸入進(jìn)行誤分類。**我們發(fā)現(xiàn)，使用$?$ =.25，我們使一個(gè)淺層softmax分類器的錯(cuò)誤率為99.9%在MNIST。在相同的設(shè)置下，maxout網(wǎng)絡(luò)以97.6%的平均置信度對(duì)89.4%的敵對(duì)例子進(jìn)行了錯(cuò)誤分類。類似地，使用$?$=.1，當(dāng)在CIFAR-10測(cè)試集的預(yù)處理版本上使用卷積maxout網(wǎng)絡(luò)時(shí)，我們獲得87.15%的錯(cuò)誤率和分配給錯(cuò)誤標(biāo)簽的96.6%的平均概率。還可以使用其他簡(jiǎn)單的方法來(lái)生成對(duì)抗的例子。例如，我們還發(fā)現(xiàn)x在梯度方向上旋轉(zhuǎn)一個(gè)小角度會(huì)可靠地產(chǎn)生相反的例子。

事實(shí)上，這些簡(jiǎn)單、廉價(jià)的算法能夠生成錯(cuò)誤的分類示例，這是有利于我們解釋線性導(dǎo)致的對(duì)抗示例的證據(jù)。這些算法對(duì)于加速對(duì)抗訓(xùn)練，甚至是對(duì)訓(xùn)練網(wǎng)絡(luò)的分析也很有用。

5 ADVERSARIAL TRAINING OF LINEAR MODELS VERSUS WEIGHT DECAY

也許我們可以考慮的最簡(jiǎn)單的模型是邏輯回歸。在這種情況下，快速梯度符號(hào)法是精確的。我們可以使用這個(gè)例子來(lái)獲得一些直覺(jué)，了解如何在一個(gè)簡(jiǎn)單的設(shè)置中生成敵對(duì)的示例。如圖2所示。

Figure 2: The fast gradient sign method applied to logistic regression (where it is not an approximation,but truly the most damaging adversarial example in the max norm box). a) The weights of a logistic regression model trained on MNIST. b) The sign of the weights of a logistic regression model trained on MNIST. This is the optimal perturbation. Even though the model has low capacity and is fit well, this perturbation is not readily recognizable to a human observer as having anything to do with the relationship between 3s and 7s. c) MNIST 3s and 7s. The logistic regression model has a 1.6% error rate on the 3 versus 7 discrimination task on these examples. d) Fast gradient sign adversarial examples for the logistic regression model with $?$ = .25. The logistic regression model has an error rate of 99% on these examples.

如果我們訓(xùn)練單一模型識(shí)別標(biāo)簽$y\in \{?1,1\}$，with $P(y=1)=\sigma (w^{T}x+b)$，其中$\sigma (z)$是logistic sigmoid函數(shù)，然后訓(xùn)練由梯度下降組成

其中 是softplus函數(shù)。基于梯度符號(hào)擾動(dòng)，我們可以推導(dǎo)出一個(gè)簡(jiǎn)單的解析形式來(lái)訓(xùn)練x的最壞情況下的對(duì)抗擾動(dòng)，而不是x本身。注意,梯度的符號(hào)只是$?sign(w)$，且$w^{T}sign(w)=\parallel w{\parallel }_1$

邏輯回歸的對(duì)抗版本是最小化

這有點(diǎn)類似于L1正則化。然而，有一些重要的區(qū)別。最重要的是，L1的懲罰是在訓(xùn)練過(guò)程中減去模型的激活，而不是增加到訓(xùn)練損失函數(shù)中。這意味著，如果模型學(xué)會(huì)了做出足夠自信的預(yù)測(cè)，飽和的話，懲罰最終可以消失。這是不保證發(fā)生的–在欠擬合制度下，對(duì)抗性訓(xùn)練只會(huì)使欠擬合更加惡化。因此，我們可以認(rèn)為L(zhǎng)1權(quán)重衰減是比對(duì)抗式訓(xùn)練更 “更壞的情況”，因?yàn)樵谟泻玫膍argin的情況下，L1權(quán)重衰減下降不能被解除。

如果我們從logistic回歸轉(zhuǎn)向多類softmax回歸，L1權(quán)重衰減變得更加悲觀，因?yàn)樗鼘oftmax的每個(gè)輸出視為獨(dú)立可擾動(dòng)的，而事實(shí)上通常不可能找到與類的所有權(quán)重向量對(duì)齊的單個(gè)$\eta$。在有多個(gè)隱藏層的深度網(wǎng)絡(luò)中，重量衰減會(huì)高估擾動(dòng)所能造成的傷害。由于L1權(quán)重衰減高估了對(duì)抗所能造成的傷害，因此有必要使用比$?$更小的L1權(quán)重衰減系數(shù)，這與我們特征的精度有關(guān)。

在MNIST上訓(xùn)練maxout網(wǎng)絡(luò)時(shí)，采用$?$ =0.25的對(duì)抗性訓(xùn)練，取得了較好的效果。在對(duì)第一層應(yīng)用L1權(quán)值衰減時(shí)，發(fā)現(xiàn)即使是0.0025的系數(shù)也太大，導(dǎo)致模型在訓(xùn)練集上的誤差超過(guò)5%。較小的權(quán)值衰減系數(shù)允許成功的訓(xùn)練，但不具有正則化效益。

6 ADVERSARIAL TRAINING OF DEEP NETWORKS

認(rèn)為深層網(wǎng)絡(luò)容易受到敵對(duì)性例子的攻擊的批評(píng)在某種程度上是被誤導(dǎo)的，因?yàn)榕c淺線性模型不同，深層網(wǎng)絡(luò)至少能夠表示抵抗敵對(duì)性干擾的函數(shù)。universal approximator theorem（Hornik等人，1989）保證了一個(gè)至少有一個(gè)隱層的神經(jīng)網(wǎng)絡(luò)可以任意精度地表示任何函數(shù)，只要它的隱層允許有足夠的單位。淺層線性模型既不能在訓(xùn)練點(diǎn)附近保持不變，又能將不同的輸出分配給不同的訓(xùn)練點(diǎn)。

當(dāng)然，通用逼近定理并沒(méi)有說(shuō)明一個(gè)訓(xùn)練算法是否能夠發(fā)現(xiàn)一個(gè)具有所有期望屬性的函數(shù)。顯然，標(biāo)準(zhǔn)的監(jiān)督訓(xùn)練并沒(méi)有規(guī)定所選的函數(shù)必須對(duì)對(duì)抗性例子具有抵抗力.這必須在訓(xùn)練過(guò)程中以某種方式進(jìn)行編碼。

Szegedy等人。（2014b）表明，通過(guò)對(duì)對(duì)抗性和干凈例子的混合訓(xùn)練，神經(jīng)網(wǎng)絡(luò)可以某種程度上正規(guī)化。對(duì)抗性示例的訓(xùn)練與其他數(shù)據(jù)增強(qiáng)方案有點(diǎn)不同；通常，一種方法通過(guò)轉(zhuǎn)換來(lái)增強(qiáng)數(shù)據(jù)。

這種形式的數(shù)據(jù)增強(qiáng)而是使用不太可能自然發(fā)生的輸入，但卻暴露了模型概念化其決策功能的方式的缺陷。在當(dāng)時(shí)，這種程序從未被證明能夠在最先進(jìn)的基準(zhǔn)上改善超過(guò)dropout的情況。然而，部分原因是很難用基于L-BFGS的昂貴的對(duì)抗式例子進(jìn)行廣泛的實(shí)驗(yàn)。

我們發(fā)現(xiàn)基于快速梯度符號(hào)方法的對(duì)抗性目標(biāo)函數(shù)訓(xùn)練是一種有效的正則化器:

$J(\theta ,x,y)=\alpha J(\theta ,x,y)+(1?\alpha )J(\theta ,x+?sign({?}_{x}J(\theta ,x,y)))$

在我們所有的實(shí)驗(yàn)中，我們用$\alpha =0.5$。其他價(jià)值觀可能更有效;我們對(duì)這個(gè)超參數(shù)的最初猜測(cè)非常有效，所以我們覺(jué)得沒(méi)有必要進(jìn)一步探索。這種方法意味著我們要不斷更新我們的對(duì)抗性示例，使它們能夠抵抗模型的當(dāng)前版本。用這種方法訓(xùn)練一個(gè)正則化的帶dropout的maxout網(wǎng)絡(luò)，可以將不進(jìn)行對(duì)抗性訓(xùn)練的錯(cuò)誤率從0.94%降低到進(jìn)行對(duì)抗性訓(xùn)練的錯(cuò)誤率為0.84%。

我們觀察到，在訓(xùn)練集的對(duì)抗性例子上，我們沒(méi)有達(dá)到零錯(cuò)誤率。我們通過(guò)兩次更改解決了此問(wèn)題。首先，我們將模型放大，每層使用1600個(gè)單元，而不是原來(lái)maxout網(wǎng)絡(luò)用于解決這個(gè)問(wèn)題的240個(gè)單元。在沒(méi)有對(duì)抗性訓(xùn)練的情況下，這會(huì)導(dǎo)致模型稍微過(guò)擬合，在測(cè)試集上得到1.14%的錯(cuò)誤率。通過(guò)對(duì)抗性訓(xùn)練，我們發(fā)現(xiàn)驗(yàn)證集錯(cuò)誤隨著時(shí)間的推移趨于穩(wěn)定，并且進(jìn)展非常緩慢。原始的maxout結(jié)果使用提前停止，并在驗(yàn)證集錯(cuò)誤率未降低100個(gè)階段后終止學(xué)習(xí)。我們發(fā)現(xiàn)，雖然驗(yàn)證集錯(cuò)誤是非常平坦的，但對(duì)抗性驗(yàn)證集錯(cuò)誤不是。

因此，我們?cè)趯?duì)抗性驗(yàn)證集誤差上使用了早期停止。使用這個(gè)標(biāo)準(zhǔn)來(lái)選擇訓(xùn)練的epoch數(shù)，然后我們對(duì)所有60000個(gè)例子進(jìn)行再訓(xùn)練。五次不同的訓(xùn)練運(yùn)行，使用不同的種子，用于選擇minibatches 的訓(xùn)練實(shí)例、初始化模型權(quán)重和生成dropout masks的隨機(jī)數(shù)發(fā)生器，結(jié)果有四次試驗(yàn)在測(cè)試集上的錯(cuò)誤率均為0.77%，有一次試驗(yàn)的錯(cuò)誤率為0.83%。0.782%的平均值是MNIST的換元不變版本上報(bào)告的最佳結(jié)果，雖然在統(tǒng)計(jì)上與微調(diào)DBMs得到的結(jié)果0.79%（Srivastava等人，2014）無(wú)法區(qū)分。

這個(gè)模型也變得對(duì)對(duì)抗的樣本有些抵觸。回想一下，在沒(méi)有對(duì)抗性訓(xùn)練的情況下，基于快速梯度符號(hào)法的對(duì)抗性例子的錯(cuò)誤率為89.4%。通過(guò)對(duì)抗性訓(xùn)練，錯(cuò)誤率下降到17.9%。對(duì)抗性的樣本可以在兩個(gè)模型之間轉(zhuǎn)換，但是對(duì)抗性訓(xùn)練的模型顯示出更強(qiáng)的魯棒性。通過(guò)原始模型生成的對(duì)抗性例子在對(duì)抗性訓(xùn)練的模型上產(chǎn)生的錯(cuò)誤率為19.6%，而通過(guò)新模型生成的對(duì)抗性例子在原始模型上產(chǎn)生的錯(cuò)誤率為40.9%。

當(dāng)對(duì)抗性訓(xùn)練的模型確實(shí)對(duì)一個(gè)對(duì)抗性例子進(jìn)行了錯(cuò)誤分類，不幸的是，它的預(yù)測(cè)仍然是高度自信的。對(duì)誤分類例子的平均置信度為81.4%。我們還發(fā)現(xiàn)，學(xué)習(xí)模型的權(quán)重發(fā)生了顯著的變化，對(duì)抗性訓(xùn)練模型的權(quán)重顯著提高了局部的可解釋性（見圖3）。

圖3：在MNIST上訓(xùn)練的maxout網(wǎng)絡(luò)的權(quán)重可視化。每一行都顯示了單個(gè)maxout單元的過(guò)濾器。左）無(wú)意識(shí)訓(xùn)練的模型。右）對(duì)抗式訓(xùn)練的模型。

當(dāng)數(shù)據(jù)被對(duì)抗干擾時(shí)，對(duì)抗訓(xùn)練過(guò)程可以被視為最小化最壞情況下的錯(cuò)誤。這可以被解釋為學(xué)習(xí)玩一個(gè)對(duì)抗性的游戲，或是在輸入中加入來(lái)自$U(??,?)$的噪聲樣本上最小化期望成本的上界。對(duì)抗性訓(xùn)練也可以被看作是一種主動(dòng)學(xué)習(xí)的形式，在這種模式下，模型可以要求在新的點(diǎn)上貼上標(biāo)簽。在這種情況下，人的標(biāo)簽被替換為一個(gè)啟發(fā)式的標(biāo)簽，從附近的點(diǎn)復(fù)制標(biāo)簽。

我們還可以通過(guò)在 $?$ max norm box中的所有點(diǎn)上進(jìn)行訓(xùn)練，或在該框中對(duì)多個(gè)點(diǎn)進(jìn)行采樣，使模型對(duì)小于$?$精度的特征變化不敏感。

這相當(dāng)于在訓(xùn)練期間用最大范數(shù)$?$添加噪聲。然而，具有零均值和零協(xié)方差的噪聲在防止對(duì)抗性例子方面非常低效。任何參考向量和這種噪聲向量之間的期望點(diǎn)積為零。這意味著在許多情況下，噪聲基本上不會(huì)產(chǎn)生影響，而不會(huì)產(chǎn)生更困難的輸入。

事實(shí)上，在很多情況下，噪聲會(huì)導(dǎo)致目標(biāo)函數(shù)值更低。我們可以把對(duì)抗性訓(xùn)練看作是在一組有噪聲的輸入中進(jìn)行艱難的例子挖掘，以便通過(guò)只考慮那些強(qiáng)烈抵制分類的有噪聲的點(diǎn)來(lái)更有效地訓(xùn)練。

由于符號(hào)函數(shù)的導(dǎo)數(shù)在任何地方都是零或未定義的，所以基于快速梯度符號(hào)法的對(duì)抗性目標(biāo)函數(shù)的梯度下降不能使模型預(yù)測(cè)對(duì)抗者對(duì)參數(shù)變化的反應(yīng)。如果我們改用基于小旋轉(zhuǎn)或加標(biāo)梯度的對(duì)抗性例子，那么擾動(dòng)過(guò)程本身是可分化的，學(xué)習(xí)時(shí)可以考慮對(duì)抗者的反應(yīng)。然而，我們并沒(méi)有從這個(gè)過(guò)程中發(fā)現(xiàn)近乎強(qiáng)大的正則化結(jié)果，也許是因?yàn)檫@類對(duì)抗性例子并沒(méi)有那么難解。

一個(gè)自然而然的問(wèn)題是，是擾動(dòng)輸入層好，還是擾動(dòng)隱藏層好，或者兩者兼而有之。在這里，結(jié)果是不一致的。Szegedy等(2014b)報(bào)告說(shuō)，當(dāng)應(yīng)用于隱藏層時(shí)，對(duì)抗性擾動(dòng)產(chǎn)生的正則化效果最好。

這個(gè)結(jié)果是在一個(gè)sigmoidal網(wǎng)絡(luò)上得到的。在我們用快速梯度符號(hào)法進(jìn)行的實(shí)驗(yàn)中，我們發(fā)現(xiàn)，具有隱藏單元的網(wǎng)絡(luò)，其激活度是無(wú)界的，只是通過(guò)使其隱藏單元的激活度變得非常大來(lái)進(jìn)行響應(yīng)，所以通常只對(duì)原始輸入進(jìn)行擾動(dòng)更好。

在飽和模型(如Rust模型)上，我們發(fā)現(xiàn)對(duì)輸入的擾動(dòng)與對(duì)隱藏層的擾動(dòng)執(zhí)行得相當(dāng)。基于旋轉(zhuǎn)隱藏層的擾動(dòng)解決了無(wú)界激活增長(zhǎng)的問(wèn)題，使相加的擾動(dòng)相對(duì)較小。

我們能夠成功地用隱藏層的旋轉(zhuǎn)擾動(dòng)來(lái)訓(xùn)練maxout網(wǎng)絡(luò)。然而，這并沒(méi)有產(chǎn)生像輸入層的加性擾動(dòng)那樣強(qiáng)烈的正則化效果。我們對(duì)對(duì)抗性訓(xùn)練的看法是，只有當(dāng)模型具有學(xué)習(xí)抵抗對(duì)抗性例子的能力時(shí)，它才會(huì)明顯有用。只有當(dāng)普遍近似器定理適用時(shí)，這種情況才會(huì)明顯。

的問(wèn)題，使相加的擾動(dòng)相對(duì)較小。

我們能夠成功地用隱藏層的旋轉(zhuǎn)擾動(dòng)來(lái)訓(xùn)練maxout網(wǎng)絡(luò)。然而，這并沒(méi)有產(chǎn)生像輸入層的加性擾動(dòng)那樣強(qiáng)烈的正則化效果。我們對(duì)對(duì)抗性訓(xùn)練的看法是，只有當(dāng)模型具有學(xué)習(xí)抵抗對(duì)抗性例子的能力時(shí)，它才會(huì)明顯有用。只有當(dāng)普遍近似器定理適用時(shí)，這種情況才會(huì)明顯。

由于神經(jīng)網(wǎng)絡(luò)的最后一層，即線性-sigmoid層或線性-softmax層，并不是最后隱藏層的函數(shù)的通用近似器，這說(shuō)明當(dāng)人們對(duì)最后隱藏層應(yīng)用對(duì)抗性擾動(dòng)時(shí)，很可能會(huì)遇到擬合不足的問(wèn)題。我們確實(shí)發(fā)現(xiàn)了這種效果。我們使用對(duì)隱藏層的擾動(dòng)進(jìn)行訓(xùn)練的最佳結(jié)果從未涉及對(duì)最終隱藏層的擾動(dòng)。

總結(jié)

以上是生活随笔為你收集整理的Explaining and Harnessing Adversarial Examples的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。