FGSM：快速梯度符號下降法，是一種比較早的，經典的攻擊方法，后續很多方法都是基于此，如PGD等

寫在開頭：這是一種白盒攻擊，沿著梯度方向添加圖像擾動，會使損失函數增大，導致模型錯誤分類，sign函數保證了與梯度方向一致。

筆記內容

對抗樣本的線性解釋

非線性模型的線性擾動

線性模型的對抗訓練與權重衰減

深度網絡對抗訓練

---

對抗樣本的線性解釋

原始樣本：

對抗樣本：=? ? ?? ? 是一個小到可以忽略的值

加入權值向量有：

從上式可以看出加入擾動后，線性模型的激活函數增加了。

要找到一個使得最大化，即 max?? ???這個求最大值的式子可以改寫成：

? ????

?要保證最大，只要保證均最大，的最大值為

令，也就是取到最大值。

如果是n維的，每一維的平均大小為m，加入擾動后，線性模型的激活函數會增加mn，當維度很高時，只發生很小的變化(加入的擾動很小），經過放大后（增大，也會對應增大)，激活函數值也會增加很大，所以，線性模型當維度很高時，也存在對抗樣本。?

非線性模型的線性擾動

：模型的參數

：模型的輸入

：與相關的目標

：損失函數

圍繞的當前值來線性化損失函數，可以得到最優最大范數約束下的擾動(optimal max-norm constrained pertubation):

我們將其稱為生成對抗樣本的“快速梯度符號法(Fast Gradient Sign Method)”。

文中指出目標函數和輸入之間存在著近似線性的關系，,給添加一個擾動使?最大，,可以通過進行求解。通過這種方法可以得到一個對抗樣本：

這個對抗樣本的效果使目標函數增加到最大，但是，神經網絡的本意是最小化這個目標函數。

?如果是有目標攻擊，對抗樣本表示方法：

上式中為什么是減號？

? ? 在有目標攻擊中，對抗樣本的目的是讓損失函數在標簽T上的值越小越好，這樣模型才會把T當成樣本label，于是應該減少標簽在T上的激活值。

線性模型的對抗訓練與權重衰減

考慮在最簡單的邏輯回歸模型上面使用FGSM

訓練一個邏輯回歸模型來識別標簽：

預測函數：? ? ? ? ?

logistic sigmoid 函數：

訓練方法：梯度下降法

樣本損失函數：

是softplus函數

對其用FGSM，擾動量：

?

則邏輯回歸模型的對抗形式可以寫成：

深度網絡對抗訓練

利用FGSM 進行對抗訓練的方法：

含義：對抗樣本會使目標函數在標簽上的損失增加，為了防止這種攻擊，就在訓練階段把它加入到目標函數中，使攻擊者用這種樣本進行攻擊，能導致的也是最小化過的，破壞作用有限。

另一種理解：在訓練階段加入，同時最小化有這個項的。也即在訓練階段強行加一個新樣本，把標簽設置為y，當測試時，遇到就不會瞎猜。

?

總結

以上是生活随笔為你收集整理的FGSM阅读笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。