explaining and harnessing adversarial examples（FGSM）

• 論文簡(jiǎn)述
• 論文重點(diǎn)
• • 先前工作
  • 對(duì)抗樣本的線性解釋
  • 非線性模型的線性擾動(dòng)
  • *線性模型的對(duì)抗擾動(dòng)推導(dǎo)及對(duì)抗訓(xùn)練
  • *非線性模型的對(duì)抗訓(xùn)練
  • 對(duì)抗樣本的泛化性解釋
  • 不足之處
• 思考

論文簡(jiǎn)述

本文依舊是Ian J. Goodfellow大神的系列，提出神經(jīng)網(wǎng)絡(luò)對(duì)對(duì)抗樣本的脆弱性的根本原因是其線性特征，這也解釋了對(duì)抗樣本在結(jié)構(gòu)和訓(xùn)練集上的泛化性，并在此基礎(chǔ)上提出了FSGM算法用來(lái)生成對(duì)抗樣本。

論文重點(diǎn)

先前工作

對(duì)抗樣本的存在說(shuō)明，即使我們當(dāng)前的模型可以來(lái)解釋訓(xùn)練數(shù)據(jù)或者正確標(biāo)簽測(cè)試數(shù)據(jù)，但是不代表它完全理解了我們實(shí)際想讓它展示的效果。

對(duì)抗樣本的原因有認(rèn)為是極端的非線性、模型平均不足以及正則化不足等

對(duì)抗樣本的線性解釋

作者則認(rèn)為正是由于高維空間的線性行為才導(dǎo)致了對(duì)抗樣本的存在，因此要在容易訓(xùn)練的線性特征和抵抗對(duì)抗樣本的非線性特征之間做trade off。

當(dāng)前輸入特征的精度是有限的，當(dāng)各個(gè)維度的擾動(dòng)小于精度時(shí)，應(yīng)產(chǎn)生相同的分類結(jié)果
假定擾動(dòng)： 1 norm,2 norm,∞ norm
$||\eta |{|}_{\infty }<?$，則擾動(dòng)在該范圍內(nèi)取最大的形式為$\eta =?sign(w)$。
則對(duì)于線性模型來(lái)講：

雖然擾動(dòng)受到約束，但激活卻會(huì)隨參數(shù)w的維度和數(shù)值的增長(zhǎng)而線性增長(zhǎng)：$cmn$。

• 正是這種線性結(jié)構(gòu)，使得微小的擾動(dòng)卻對(duì)分類結(jié)果產(chǎn)生重要的影響。

非線性模型的線性擾動(dòng)

• 假定神經(jīng)網(wǎng)絡(luò)足夠的線性化，導(dǎo)致其也不能抵抗對(duì)抗樣本。（線性結(jié)構(gòu)、非線性結(jié)構(gòu)的非飽和，線性區(qū)域）maxout network
• 攻擊樣本的思想：追求以微小的修改，通過(guò)激活函數(shù)的作用，對(duì)分類結(jié)果產(chǎn)生最大化的變化。
• 如果我們的變化量與梯度的變化方向完全一致，那么將會(huì)對(duì)分類結(jié)果產(chǎn)生最大化的變化。sign函數(shù)用來(lái)保持變化量方向

此時(shí)的最優(yōu)攻擊樣本是，也即FGSM（fast gradient sign method）

但之后作者給出的$?$并不是小于圖像精度的，所以擾動(dòng)幅度并不算特別小。

• 兩個(gè)標(biāo)準(zhǔn)：錯(cuò)誤率（error rate）是說(shuō)誤判的百分比，置信率（confidence）：是指分類器認(rèn)為該圖像是錯(cuò)誤類別的百分比，錯(cuò)誤率和置信率越高，則說(shuō)明生成的對(duì)抗樣本越強(qiáng)勢(shì)
• 正是因?yàn)榫€性響應(yīng)，使得他們?cè)谟?xùn)練數(shù)據(jù)分布中未出現(xiàn)的數(shù)據(jù)保持過(guò)度自信
• 其他生成對(duì)抗樣本的方式：如沿梯度方向旋轉(zhuǎn)原圖像x一個(gè)小的角度

作者的思路總是很清晰且易懂，但卻能發(fā)現(xiàn)問(wèn)題和產(chǎn)出效果，真的很厲害。

*線性模型的對(duì)抗擾動(dòng)推導(dǎo)及對(duì)抗訓(xùn)練

---

邏輯回歸推導(dǎo)，目標(biāo)值為{-1,1}或{0,1}兩種形式 https://www.cnblogs.com/daguankele/p/6549891.html
林軒田機(jī)器學(xué)習(xí)邏輯回歸函數(shù)，目標(biāo)值為{-1,1}的推導(dǎo)公式：https://blog.csdn.net/red_stone1/article/details/72229903

此處的y省略掉了，y指的是y_true，也即考慮的是y=1的情況。
則利用對(duì)抗擾動(dòng) 作為正則項(xiàng) 來(lái)進(jìn)行優(yōu)化的損失函數(shù)為：

公式來(lái)源：https://zhuanlan.zhihu.com/p/32784766
正則化，權(quán)重衰減

*非線性模型的對(duì)抗訓(xùn)練

公式（持續(xù)更新對(duì)抗樣本）：

結(jié)論：

對(duì)抗訓(xùn)練能在dropout的基礎(chǔ)上使訓(xùn)練結(jié)果有所提升或相差不大

好處在于對(duì)抗訓(xùn)練后的模型對(duì)對(duì)抗樣本具有更好的魯棒性

但對(duì)抗訓(xùn)練后的模型如果誤認(rèn)了對(duì)抗樣本，仍然有很高的置信度

對(duì)抗訓(xùn)練類似于hard example mining，利用產(chǎn)生的隨機(jī)噪聲無(wú)法用來(lái)抵抗對(duì)抗樣本

容量（擬合各種函數(shù)的能力）低的模型能夠精準(zhǔn)的逼近當(dāng)前模型，所以可以抵抗對(duì)抗樣本，但泛化性差；容量高的模型泛化性強(qiáng)，但也因此無(wú)法抵抗對(duì)抗樣本。

• 如果我們?cè)O(shè)計(jì)一個(gè)模型，在指定位置精準(zhǔn)逼近（類似于瓶頸形式），篩選掉對(duì)抗樣本，再提高泛化性，有沒(méi)有可能讓兩者很好的結(jié)合呢？？？

對(duì)抗樣本的泛化性解釋

• 對(duì)抗樣本具有泛化性，且誤判的分類通常保持一致。
• 由于模型的線性化，對(duì)抗樣本存在于廣泛的子空間中，而不是特定的某些位置（類似實(shí)數(shù)在有理數(shù)中一樣）
• 擾動(dòng)的方向更重要些，我們就只需要找準(zhǔn)對(duì)抗樣本的方向，然后使擾動(dòng)足夠大，就能產(chǎn)生對(duì)抗樣本。
• 泛化性的原因是由于當(dāng)前的方法論學(xué)到的權(quán)重是相似的，則對(duì)抗樣本存在的子空間基本一致，也因此對(duì)抗樣本具有遷移性。

不足之處

（未經(jīng)過(guò)驗(yàn)證）

• 不定向攻擊，無(wú)法做到定向攻擊。
• 而且這種攻擊的魯棒性不強(qiáng)，添加的擾動(dòng)容易在圖片的預(yù)處理階段被過(guò)濾掉。
• 盡管提出的對(duì)抗訓(xùn)練方式可以提高模型的泛化能力，從而在一定程度上防御對(duì)抗樣例攻擊，但這種防御方法只針對(duì)一步對(duì)抗樣例攻擊有效，攻擊者仍可以針對(duì)新的網(wǎng)絡(luò)構(gòu)造其他的對(duì)抗樣例。

思考

• 雖然不一定是正確解釋，但感覺(jué)大神的思路就是很清晰明了
• 可以考慮模型，將精準(zhǔn)模型與擬合性好的模型相結(jié)合

總結(jié)

以上是生活随笔為你收集整理的explaining and harnessing adversarial examples(FGSM)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。