EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 論文筆記

EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES
原論文鏈接

摘要

包括神經網絡在內的許多機器學習模型都很容易受到對抗樣本（adversarial examples）的攻擊導致誤分類，對抗性樣本指通過刻意的給輸入增加一些輕微的惡意擾動，從而使系統以高置信度對樣本進行錯誤的分類。之前的一些觀點認為這種現象是由于非線性性質和過擬合導致的，但是本文認為神經網絡對于對抗性干擾的易損性（vulnerability）的本質原因是他們在高維空間的線性性質。而最有趣的現象在于他們具有跨架構和訓練集的泛化能力，本文是最先對這種現象給出解釋的論文，并且這個解釋得到了新的定量結果的支持。此外，本文還提供了一種簡單而快速的方法來生成對抗樣本，使用這種方法來提供對抗性訓練的樣本，可以減少 MNIST 數據集上的測試誤差。

簡介

對抗樣本易損性：通過刻意的給輸入增加一些輕微的惡意擾動，就可以使機器學習模型以高置信度對樣本進行錯誤的分類。在很多情況下，同一個對抗樣本可以讓使用不同架構，在不同訓練集下訓練的不同模型做出誤判，這說明對抗樣本暴露了訓練算法中的一些共通的基礎盲點。

這些現象的原因是一個謎，一種推測認為這是由于深度神經網絡的極端非線性，可能使模型均值化不充分以及純監督學習的正規化不充分相結合。但本文證明這種猜測是不成立的，高維空間的線性性質足以導致對抗性樣本產生，這種觀點使得我們可以設計一種快速的方法來產生對抗樣本以及進行對抗性訓練。對抗性樣本可以產生比 dropout 更優秀的正則化收益，通用的正則化策略并不能顯著的降低模型的對抗樣本易損性，而將模型轉變為非線性模型族就有可能做到，例如 RBF 網絡。

本文展示了一種權衡，是將模型訓練為容易訓練的線性模型，還是訓練為復雜的非線性模型以抵御對抗樣本的干擾。長遠來看，設計更多訓練非線性模型的更強大的優化方法可以避免這種問題。

相關工作

Szegedy 等人在論文 Intriguing properties of neural networks 中展示了神經網絡的一些有趣的性質，本文涉及的有：

• Box-constrained L-BFGS 可以有效的找出對抗性樣本
• 在一些數據集中，對抗性樣本和原樣本非常相似，人眼難以找出差別
• 在很多情況下，同一個對抗樣本可以讓使用不同架構，在不同訓練集下訓練的不同模型做出誤判
• 淺層的 softmax 回歸模型也具有對抗樣本易損性
• 使用對抗性樣本進行訓練可以使模型正則化，但是這種方法需要在內循環中進行約束性優化，時間成本非常高昂，在實踐中難以實現。

這些性質就表明即使是在測試集上表現優異的分類模型，實際上也并沒有學習到真正決定正確類別的內在概念。恰恰相反，這些算法就像一個 Potemkin village，在自然發生的數據中表現良好，但是當出現概率非常低的數據的時候，就會產生虛假的輸出。這點尤其讓人感到失望，因為計算機視覺的主流方法就是使用CNN的特征空間上用歐氏距離近似感知距離，但是如果感知距離非常小的圖像對應于網絡表征中的完全不同的類，那么這種相似性顯然是有缺陷的。但是，這種缺陷在某種程度上也正好是用來修復這個問題的方式。

對抗樣本的線性解釋

因為樣本輸入特征（input feature）的精度（precision）是有限的，比如一般圖像的每個像素是8 bits, 那么樣本中所有低于$1/255$ 的信息都會被丟棄，所以當樣本 $x$ 中每個元素值添加的擾動值 $\eta$ 小于樣本輸入特征精度時，分類器無法將樣本 $x$ 和對抗樣本 $$\tilde{\mathbf{x}}=\mathbf{x}+\mathbf{\eta }$$ 區分開。因此，對一個區分良好的類別而言，如果 $?$ 是一個足夠小以至于被舍棄掉的值，那么只要 $\Vert \eta {\Vert }_{\infty }<?$，分類器就會將 $x$ 和 $\tilde{x}$ 分為同一個類。

思考一下權重向量 $w$ 和對抗樣本 $\tilde{x}$ 的點積（dot product）：
$$w^{?}\tilde{x}=w^{?}(x+\eta )=w^{?}x+w^{?}\eta$$
對抗性干擾導致 activation 增加了 $w^{?}\eta$，本文指出可以使用最大范數約束（maxnorm constraint）將 $\eta$ 賦值為 $\eta =\mathrm{sign}(\mathbf{w})$ 從而使 ${\mathbf{w}}^{?}\mathbf{\eta }$ 最大化。如果 $w$ 有 $n$ 維且元素均值為 $m$，那么 activation 將增加 $?mn$，雖然 $\Vert \eta {\Vert }_{\infty }$ 不會隨著維度改變，但是由 $\eta$ 導致的 activation 的增加量 $?mn$ 會隨著維度 $n$ 線性增長。那么對于一個高維度的問題，一個樣本中大量維度的無限小的干擾加在一起就可以對輸出造成很大的變化。這說明如果具有足夠高的維度，即使是一個簡單的線性模型也具有對抗樣本易損性。

非線性模型的線性擾動

我們認為神經網絡過于線性以至于不能抵抗對抗樣本的干擾，而這種觀點引出了一種生成對抗樣本的快速方法，即 Fast Gradient Sign Method (FGSM) 方法。

讓 $\theta$ 作為模型的參數，$x$ 作為模型的輸入，$y$ 是模型對應的 label 值，$J(\theta ,x,y)$ 是訓練神經網絡的損失函數，對某個特定的模型參數 $\theta$ 而言，FGSM方法將損失函數近似線性化，從而獲得保證無窮范數限制的最優的擾動 $\Vert \eta {\Vert }_{\infty }<?$，可以使用反向傳播有效地計算所需的梯度。擾動值具體為：
$$\mathbf{\eta }=?\mathrm{sign}\left({?}_{\mathbf{x}}J(\mathbf{\theta },\mathbf{x},y)\right)$$
實驗表明，FGSM 這種簡單的算法確實可以產生誤分類的對抗樣本，從而證明了作者假設的對抗樣本的產生原因是由于模型的線性特性。同時，這種算法也可作為一種加速對抗訓練的方法。

線性模型與權重衰減的對抗訓練

通過對最簡單的邏輯回歸（logistic regression）模型上應用 FGSM 方法，理解如何在簡單的設置中生成對抗樣本。

如果我們訓練了一個單一模型來對 $P(y=1)=\sigma \left({\mathbf{w}}^{?}\mathbf{x}+b\right)$ 區分標簽 $y\in \{?1,1\}$，其中 $\sigma (z)$ 是 logistic sigmoid 函數 $\sigma (z)=\frac{1}{1+e^{?z}}$，使用梯度下降訓練的損失函數為：
$${\mathbb{E}}_{\mathbf{x},y～p_{\text{?data?}}}\zeta \left(?y\left({\mathbf{w}}^{?}\mathbf{x}+b\right)\right)$$
其中 $\zeta (z)$ 為 softplus 函數 $\zeta (z)=log(1+e^z)$。

對該模型使用 FGSM 方法，擾動量 $\eta$ 為：
KaTeX parse error: \cr valid only within a tabular/array environment
并且：
$${\mathbf{w}}^{?}\mathrm{sign}(\mathbf{w})=\Vert \mathbf{w}{\Vert }_1$$
因此邏輯回歸模型的對抗形式為最小化下列損失函數：
$$E_{x,y～p_{\text{data}}}\zeta \left(?y\left(w^{?}\tilde{x}+b\right)\right)\underset{\tilde{x}=x+\eta ,\eta =??\mathrm{sign}(w)}{=}{E}_{x,y～p_{\text{?data?}}}\zeta \left(y\left(?||w|{|}_1?w^{?}x?b\right)\right)$$
這就跟 $L^1$ 正則化類似，但不同的是對抗形式是在訓練過程中減去 $L^1$ 懲罰項，而不是加上 $L^1$ 懲罰項。也就是說如果模型學會了以足夠高的置信度做出 $\zeta$ 飽和的預測，那么懲罰項最終會消失。 這不一 定會發生，因為在欠擬合的場景下，對抗性訓練只會加劇欠擬合。

深度網絡的對抗訓練

人們通常誤以為深度學習的方法更容易受到對抗攻擊，但是實際上跟淺層線性模型相比，深度網絡至少可以在訓練網絡過程中抵御對抗擾動攻擊。因為只有深度學習有能力去擬合一個非線性模型，而這是淺層模型所無法處理的。The universal approximator theorem 表明，只要隱藏層擁有足夠多的的神經元，具有至少一個隱藏層的神經網絡可以表示任意精度的任何函數，因此深度學習能夠學習到一個函數能夠抵御對抗攻擊而其他淺層模型不行。淺層模型不能做到說在不同輸入給出不同輸出的同時還要給臨近的輸入得到相同的輸出。當然了，也沒有理論證明算法是否能發現一個能夠完全符合我們期望的函數，就像標準的有監督訓練并不能保證能夠學習到能夠抵御對抗樣本的函數，這個過程需要顯式的在訓練過程體現。

對抗樣本的訓練與其他數據擴充方案有些不同，通常，人們通過轉換來擴充數據，例如預期在測試集中實際發生的轉換，而對抗樣本的擴充需要轉換為自然情況下不太可能出現的輸入，從而暴露出模型的缺陷。這種情況下，dropout 并不能在前沿基準中做出提升，這在一定程度上也是因為基于 L-BFGS 的對抗性例子成本太高，很難廣泛地進行實驗。

本文提出了一種利用 FGSM 進行對抗訓練的方法，目標函數為：
$$\tilde{J}(\theta ,x,y)=\alpha J(\theta ,x,y)+(1?\alpha )J(\theta ,x+?sign(?xJ(\theta ,x,y))$$
本文的實驗中用的 $\alpha$ 值為 0.5，這種對抗訓練的方法意味著在訓練過程中不斷更新對抗樣本，從而使得當前模型可以抵御對抗樣本。

但是作者表示在訓練集上對抗訓練的錯誤率error rate沒有達到過0%，作者主要從以下兩個方面解決：

• 增大模型，即使用1600個unit代替240個unit
• 在對抗訓練中，驗證集錯誤率會隨著時間逐漸平穩，但是雖然驗證集錯誤率比較小，但是對抗驗證錯誤率并不小，因此在對抗驗證錯誤率 adversarial validation set error 上也使用early stopping算法

文章表明，在不進行對抗訓練的情況下，模型識別 FGSM 攻擊方法生成樣本的錯誤率是89.4%，但是通過對抗訓練，同樣的模型識別對抗樣本的錯誤率下降到17.9%。然而，當模型對對抗樣本誤分類的時候，置信度依然很高，平均置信度為81.4%。本文還發現，學習模型的權重發生了顯著的變化，而對抗訓練模型的權重具有顯著的本地化和可解釋性。

對抗性訓練過程可以被看作是在數據受到對抗干擾時最小化 worst-case 錯誤率，這可以被解釋為進行了一場對抗游戲，或者是最小化把 $U(??,?)$ 加入輸入時的噪聲樣本上的損失上界。對抗訓練也可以被認為是一種主動學習 （active learning） 的形式，這種情況下，模型可以在新的點上請求標簽，人工標簽機 （human labeler）被一個啟發式的標簽機（heuristic labeler）所取代，該標簽機從附近的點復制標簽。

對抗樣本泛化原因

很多論文都表明對抗樣本具有Transferability。具體來說，在一個特定模型上產生的對抗樣本通常也容易被其他模型誤分類，即使這些模型的結構不同或者模型在不同的訓練集上訓練。甚至，不同的模型對對抗樣本誤分類的結果相同！這種泛化特征意味著如果有人希望對模型進行惡意攻擊，攻擊者根本不必訪問需要攻擊的目標模型，就可以通過訓練自己的模型來產生對抗樣本，然后將這些對抗樣本部署到他們需要攻擊的模型中。作者表明，非線性或者過擬合的假設不能解釋為何擁有無限能力的極度非線性模型會以相同的方式標注數據分布點。

在本文提出的線性解釋下，作者認為對抗樣本在廣泛的子空間存在。

上圖表明，在不同的 $?$ 下，可以看到FGSM可以在一維的連續子空間內產生對抗樣本，而不是特定的區域。這就解釋了為什么對抗樣本特別多，以及為什么對抗樣本transferability存在。

另外，為了解釋為什么不同的分類器將對抗樣本誤分類到同一個類，作者假設目前的方法訓練神經網絡都類似于在同一個訓練集上學習的線性分類器。由于機器學習算法的泛化能力，所以線性分類器可以在訓練集的不同子集上訓練出大致相同的分類權重。底層分類權重的穩定性反過來又會導致對抗樣本中的穩定性。

對抗樣本存在性的其他假設

作者通過實驗及分析，反駁了其他兩種對抗樣本存在性的假設。

假設1：生成訓練可以在訓練過程中提供更多的限制，或者是的模型學習如何分辨"real"或者"fake"的數據，并且對"real"的數據置信度更高。

文章表明，某些生成訓練并不能達到假設的效果，但是不否認可能有其他形式的生成模型可以抵御攻擊，但是確定的是生成訓練的本身并不足夠。

假設2：對抗樣本存在于單個奇怪的模型(models with strange quirks)，因此多個模型的平均可以使得模型防御性更好。

文章通過實驗說明，模型融合對于對抗樣本的防御能力非常有限。

總結

以上是生活随笔為你收集整理的EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES 论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。