1、對抗樣本

如下圖所示，在原始圖片(57.7%的概率識別為panda)上加一個非常微小的噪聲，加完之后人體視覺上看不出區別，但是再次輸入同一個神經網絡，它就會以99.3%的概率將其識別為gibbon。
作者認為，高維空間的線性足夠產生對抗樣本，由此作者也設計了一種新的快速產生對抗樣本的方法FGSM。

對抗樣本的線性解釋：
如果向樣本x中的每個元素值添加的擾動值$\eta$小于樣本輸入特征精度時，直觀理解上模型分類器可能會無法將樣本x和對抗樣本$\bar{x}$ = x + $\eta$區分開來，但事實并不是這樣。
在神經網絡模型中都會引入權重向量w：$w^T\bar{x}=w^{T}x+w^T\eta$ 其中|$\eta$| < $?$，從該式可以看出，這時的對抗擾動會使激活函數的輸入相應增加$w^T\eta$，假設權重向量w有n個維度，并且權重向量中元素平均值是m，那么激活函數將會最多增加$?$nm。這種情況下，雖然擾動不會隨著維度n的變化而變化，但是由$\eta$導致的激活函數的增加量$?$nm會隨著維度n線性增長。因此在高維問題上，即使對輸入進行非常小的更改，對應的輸出也會產生很大的變化。
以上表明，如果線性模型的輸入樣本具有足夠大的維度，那么線性模型也同樣會容易受到對抗樣本的攻擊。

2、非線性模型的線性擾動

作者利用上面對抗樣本的線性解釋提出了一個快速產生對抗樣本的方法FGSM。
假設模型參數為$\theta$（包含模型加權平均向量w、偏置量b等），輸入、輸出分別為x,y，J($\theta$, x, y)是損失函數，FGSM將損失函數近似線性化，$\eta =?sign({▽}_{x}J(\theta ,x,y))$。
這里首先回顧一下正常的模型訓練過程，訓練時通常都要讓損失函數越來越小，因此需要對損失函數求導（梯度），如果為正，說明參數太大，所以在下一輪訓練前就需要將參數變小（減去這個梯度），從而使損失函數越來越小，模型預測正確的概率越來越大。但是這里對抗樣本的目的是，模型預測正確的概率越小越好，和正常訓練過程中參數更新的操作相反，因此只需要在輸入圖像中加上計算得到的梯度方向，這樣得到的損失值才會更大，模型預測正確的概率才會更小。
如文章最開始的圖片所示，在輸入圖片上添加了一個不明顯的小向量，該向量的元素等于損失函數相對于輸入圖片元素的梯度，這樣就讓神經網絡產生了誤分類。
總結一下FGSM主要有兩點：一是計算梯度的時候，是基于輸入圖像來計算的，二是更新輸入圖像的時候加上梯度，這和模型訓練時的減去梯度正好相反。

通過一系列的實驗，發現FGSM確實可以導致各種模型將其輸入錯誤分類：
當$?$=0.25時，在mnist數據集上，邏輯回歸模型的錯誤率為99.9%（原始區分3和7的錯誤率僅為1.6%），maxout網絡的對抗樣本錯誤率為89.4%；當$?$=0.1時，在CIRAF-10數據集上，maxout卷積神經網絡的錯誤率最高為87.15%。但是RBF神經網絡對對抗擾動不敏感，其對應的置信度也很低。

參考鏈接：
https://blog.csdn.net/u014380165/article/details/90723948 https://zhuanlan.zhihu.com/p/25462317
https://blog.csdn.net/u014038273/article/details/78773515
https://blog.csdn.net/qq_35414569/article/details/80770121
https://arxiv.org/pdf/1412.6572.pdf
https://zhuanlan.zhihu.com/p/166364358

總結

以上是生活随笔為你收集整理的《EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES》阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。