explaining and harnessing adversarial examples（FGSM）

• 論文簡述
• 論文重點(diǎn)
• • 先前工作
  • 對抗樣本的線性解釋
  • 非線性模型的線性擾動(dòng)
  • *線性模型的對抗擾動(dòng)推導(dǎo)及對抗訓(xùn)練
  • *非線性模型的對抗訓(xùn)練
  • 對抗樣本的泛化性解釋
  • 不足之處
• 思考

論文簡述

本文依舊是Ian J. Goodfellow大神的系列，提出神經(jīng)網(wǎng)絡(luò)對對抗樣本的脆弱性的根本原因是其線性特征，這也解釋了對抗樣本在結(jié)構(gòu)和訓(xùn)練集上的泛化性，并在此基礎(chǔ)上提出了FSGM算法用來生成對抗樣本。

論文重點(diǎn)

先前工作

對抗樣本的存在說明，即使我們當(dāng)前的模型可以來解釋訓(xùn)練數(shù)據(jù)或者正確標(biāo)簽測試數(shù)據(jù)，但是不代表它完全理解了我們實(shí)際想讓它展示的效果。

對抗樣本的原因有認(rèn)為是極端的非線性、模型平均不足以及正則化不足等

對抗樣本的線性解釋

作者則認(rèn)為正是由于高維空間的線性行為才導(dǎo)致了對抗樣本的存在，因此要在容易訓(xùn)練的線性特征和抵抗對抗樣本的非線性特征之間做trade off。

當(dāng)前輸入特征的精度是有限的，當(dāng)各個(gè)維度的擾動(dòng)小于精度時(shí)，應(yīng)產(chǎn)生相同的分類結(jié)果
假定擾動(dòng)： 1 norm,2 norm,∞ norm
$||\eta |{|}_{\infty }<?$，則擾動(dòng)在該范圍內(nèi)取最大的形式為$\eta =?sign(w)$。
則對于線性模型來講：

雖然擾動(dòng)受到約束，但激活卻會(huì)隨參數(shù)w的維度和數(shù)值的增長而線性增長：$cmn$。

• 正是這種線性結(jié)構(gòu)，使得微小的擾動(dòng)卻對分類結(jié)果產(chǎn)生重要的影響。

非線性模型的線性擾動(dòng)

• 假定神經(jīng)網(wǎng)絡(luò)足夠的線性化，導(dǎo)致其也不能抵抗對抗樣本。（線性結(jié)構(gòu)、非線性結(jié)構(gòu)的非飽和，線性區(qū)域）maxout network
• 攻擊樣本的思想：追求以微小的修改，通過激活函數(shù)的作用，對分類結(jié)果產(chǎn)生最大化的變化。
• 如果我們的變化量與梯度的變化方向完全一致，那么將會(huì)對分類結(jié)果產(chǎn)生最大化的變化。sign函數(shù)用來保持變化量方向

此時(shí)的最優(yōu)攻擊樣本是，也即FGSM（fast gradient sign method）

但之后作者給出的$?$并不是小于圖像精度的，所以擾動(dòng)幅度并不算特別小。

• 兩個(gè)標(biāo)準(zhǔn)：錯(cuò)誤率（error rate）是說誤判的百分比，置信率（confidence）：是指分類器認(rèn)為該圖像是錯(cuò)誤類別的百分比，錯(cuò)誤率和置信率越高，則說明生成的對抗樣本越強(qiáng)勢
• 正是因?yàn)榫€性響應(yīng)，使得他們在訓(xùn)練數(shù)據(jù)分布中未出現(xiàn)的數(shù)據(jù)保持過度自信
• 其他生成對抗樣本的方式：如沿梯度方向旋轉(zhuǎn)原圖像x一個(gè)小的角度

作者的思路總是很清晰且易懂，但卻能發(fā)現(xiàn)問題和產(chǎn)出效果，真的很厲害。

*線性模型的對抗擾動(dòng)推導(dǎo)及對抗訓(xùn)練

---

邏輯回歸推導(dǎo)，目標(biāo)值為{-1,1}或{0,1}兩種形式 https://www.cnblogs.com/daguankele/p/6549891.html
林軒田機(jī)器學(xué)習(xí)邏輯回歸函數(shù)，目標(biāo)值為{-1,1}的推導(dǎo)公式：https://blog.csdn.net/red_stone1/article/details/72229903

此處的y省略掉了，y指的是y_true，也即考慮的是y=1的情況。
則利用對抗擾動(dòng) 作為正則項(xiàng) 來進(jìn)行優(yōu)化的損失函數(shù)為：

公式來源：https://zhuanlan.zhihu.com/p/32784766
正則化，權(quán)重衰減

*非線性模型的對抗訓(xùn)練

公式（持續(xù)更新對抗樣本）：

結(jié)論：

對抗訓(xùn)練能在dropout的基礎(chǔ)上使訓(xùn)練結(jié)果有所提升或相差不大

好處在于對抗訓(xùn)練后的模型對對抗樣本具有更好的魯棒性

但對抗訓(xùn)練后的模型如果誤認(rèn)了對抗樣本，仍然有很高的置信度

對抗訓(xùn)練類似于hard example mining，利用產(chǎn)生的隨機(jī)噪聲無法用來抵抗對抗樣本

容量（擬合各種函數(shù)的能力）低的模型能夠精準(zhǔn)的逼近當(dāng)前模型，所以可以抵抗對抗樣本，但泛化性差；容量高的模型泛化性強(qiáng)，但也因此無法抵抗對抗樣本。

• 如果我們設(shè)計(jì)一個(gè)模型，在指定位置精準(zhǔn)逼近（類似于瓶頸形式），篩選掉對抗樣本，再提高泛化性，有沒有可能讓兩者很好的結(jié)合呢？？？

對抗樣本的泛化性解釋

• 對抗樣本具有泛化性，且誤判的分類通常保持一致。
• 由于模型的線性化，對抗樣本存在于廣泛的子空間中，而不是特定的某些位置（類似實(shí)數(shù)在有理數(shù)中一樣）
• 擾動(dòng)的方向更重要些，我們就只需要找準(zhǔn)對抗樣本的方向，然后使擾動(dòng)足夠大，就能產(chǎn)生對抗樣本。
• 泛化性的原因是由于當(dāng)前的方法論學(xué)到的權(quán)重是相似的，則對抗樣本存在的子空間基本一致，也因此對抗樣本具有遷移性。

不足之處

（未經(jīng)過驗(yàn)證）

• 不定向攻擊，無法做到定向攻擊。
• 而且這種攻擊的魯棒性不強(qiáng)，添加的擾動(dòng)容易在圖片的預(yù)處理階段被過濾掉。
• 盡管提出的對抗訓(xùn)練方式可以提高模型的泛化能力，從而在一定程度上防御對抗樣例攻擊，但這種防御方法只針對一步對抗樣例攻擊有效，攻擊者仍可以針對新的網(wǎng)絡(luò)構(gòu)造其他的對抗樣例。

思考

• 雖然不一定是正確解釋，但感覺大神的思路就是很清晰明了
• 可以考慮模型，將精準(zhǔn)模型與擬合性好的模型相結(jié)合

總結(jié)

以上是生活随笔為你收集整理的explaining and harnessing adversarial examples(FGSM)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。