FGSM：快速梯度符號(hào)下降法，是一種比較早的，經(jīng)典的攻擊方法，后續(xù)很多方法都是基于此，如PGD等

寫在開(kāi)頭：這是一種白盒攻擊，沿著梯度方向添加圖像擾動(dòng)，會(huì)使損失函數(shù)增大，導(dǎo)致模型錯(cuò)誤分類，sign函數(shù)保證了與梯度方向一致。

筆記內(nèi)容

對(duì)抗樣本的線性解釋

非線性模型的線性擾動(dòng)

線性模型的對(duì)抗訓(xùn)練與權(quán)重衰減

深度網(wǎng)絡(luò)對(duì)抗訓(xùn)練

---

對(duì)抗樣本的線性解釋

原始樣本：

對(duì)抗樣本：=? ? ?? ? 是一個(gè)小到可以忽略的值

加入權(quán)值向量有：

從上式可以看出加入擾動(dòng)后，線性模型的激活函數(shù)增加了。

要找到一個(gè)使得最大化，即 max?? ???這個(gè)求最大值的式子可以改寫成：

? ????

?要保證最大，只要保證均最大，的最大值為

令，也就是取到最大值。

如果是n維的，每一維的平均大小為m，加入擾動(dòng)后，線性模型的激活函數(shù)會(huì)增加mn，當(dāng)維度很高時(shí)，只發(fā)生很小的變化(加入的擾動(dòng)很小），經(jīng)過(guò)放大后（增大，也會(huì)對(duì)應(yīng)增大)，激活函數(shù)值也會(huì)增加很大，所以，線性模型當(dāng)維度很高時(shí)，也存在對(duì)抗樣本。?

非線性模型的線性擾動(dòng)

：模型的參數(shù)

：模型的輸入

：與相關(guān)的目標(biāo)

：損失函數(shù)

圍繞的當(dāng)前值來(lái)線性化損失函數(shù)，可以得到最優(yōu)最大范數(shù)約束下的擾動(dòng)(optimal max-norm constrained pertubation):

我們將其稱為生成對(duì)抗樣本的“快速梯度符號(hào)法(Fast Gradient Sign Method)”。

文中指出目標(biāo)函數(shù)和輸入之間存在著近似線性的關(guān)系，,給添加一個(gè)擾動(dòng)使?最大，,可以通過(guò)進(jìn)行求解。通過(guò)這種方法可以得到一個(gè)對(duì)抗樣本：

這個(gè)對(duì)抗樣本的效果使目標(biāo)函數(shù)增加到最大，但是，神經(jīng)網(wǎng)絡(luò)的本意是最小化這個(gè)目標(biāo)函數(shù)。

?如果是有目標(biāo)攻擊，對(duì)抗樣本表示方法：

上式中為什么是減號(hào)？

? ? 在有目標(biāo)攻擊中，對(duì)抗樣本的目的是讓損失函數(shù)在標(biāo)簽T上的值越小越好，這樣模型才會(huì)把T當(dāng)成樣本label，于是應(yīng)該減少標(biāo)簽在T上的激活值。

線性模型的對(duì)抗訓(xùn)練與權(quán)重衰減

考慮在最簡(jiǎn)單的邏輯回歸模型上面使用FGSM

訓(xùn)練一個(gè)邏輯回歸模型來(lái)識(shí)別標(biāo)簽：

預(yù)測(cè)函數(shù)：? ? ? ? ?

logistic sigmoid 函數(shù)：

訓(xùn)練方法：梯度下降法

樣本損失函數(shù)：

是softplus函數(shù)

對(duì)其用FGSM，擾動(dòng)量：

?

則邏輯回歸模型的對(duì)抗形式可以寫成：

深度網(wǎng)絡(luò)對(duì)抗訓(xùn)練

利用FGSM 進(jìn)行對(duì)抗訓(xùn)練的方法：

含義：對(duì)抗樣本會(huì)使目標(biāo)函數(shù)在標(biāo)簽上的損失增加，為了防止這種攻擊，就在訓(xùn)練階段把它加入到目標(biāo)函數(shù)中，使攻擊者用這種樣本進(jìn)行攻擊，能導(dǎo)致的也是最小化過(guò)的，破壞作用有限。

另一種理解：在訓(xùn)練階段加入，同時(shí)最小化有這個(gè)項(xiàng)的。也即在訓(xùn)練階段強(qiáng)行加一個(gè)新樣本，把標(biāo)簽設(shè)置為y，當(dāng)測(cè)試時(shí)，遇到就不會(huì)瞎猜。

?

總結(jié)

以上是生活随笔為你收集整理的FGSM阅读笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。