作者 |?慕蘇

【簡介】

本文提出了一種新的采樣策略——輸出多樣化采樣，替代對抗攻擊方法中常用的隨機采樣，使得目標模型的輸出盡可能多樣化，以此提高白盒攻擊和黑盒攻擊的有效性。實驗表明，該種采樣策略可以顯著提升對抗攻擊方法的性能。

論文地址：

https://arxiv.org/abs/2003.06878

論文代碼：

https://github.com/ermongroup/ODS

?

【引言】

神經網絡在圖像分類任務上取得了很大的成功，但是它們卻很容易被對抗樣本攻擊——人眼不可察的微小擾動就能讓其分類錯誤。因此，設計強有力的攻擊方法對評估模型的魯棒性和防御能力至關重要。目前大部分攻擊方法都要依賴于隨機采樣，也就是給輸入圖片加入隨機噪聲。在白盒攻擊中，隨機采樣被用于尋找對抗樣本的初始化過程；在黑盒攻擊中，隨機采樣被用來探索生成對抗樣本的更新方向。在這些攻擊中，都是在模型的輸入空間（像素空間）進行隨機采樣以實現盡可能大的多樣性，從而提高對抗的成功率。但是對于復雜的非線性深度神經網絡模型，輸入空間樣本的多樣性并不能代表輸出空間樣本結果的多樣性，如下圖左側所示，黑色實心點表示原始輸入樣本，黑色空心圓圈表示采樣得到的擾動，藍色虛線箭頭表示隨機采樣，我們可以看到，當把隨機擾動添加到原始樣本上，在輸出空間，其對應的輸出值距離原始樣本的輸出值非常接近，也就是說輸入空間隨機采樣的多樣性并不能直接導致輸出空間結果的多樣性。因此，本文作者提出一種新的采樣策略——輸出多樣化采樣（ODS），目的在于讓樣本的輸出盡可能多樣化。如下圖左側紅色實線箭頭所示，輸入空間的采樣結果，映射到輸出空間，也能具有很大的多樣性。而下圖右側類似，只不過是應用到黑盒攻擊中，通過讓代理模型的輸出盡可能多樣化來實現目標模型（被攻擊的模型）輸出的多樣化。

【模型介紹】

1、輸出多樣化采樣（ODS）

2、利用ODS增強白盒攻擊

在白盒攻擊中，我們利用ODS來初始化尋找對抗樣本的優化過程（被稱為ODI）的起始點，具體公式為：

3、利用ODS增強黑盒攻擊

具體算法流程如下表所示：

對于原始輸入圖片，在黑盒攻擊生成對抗樣本的優化過程中，每次迭代都朝著的方向，從而讓模型的輸出盡可能多樣化。

?

【實驗結果】

1、白盒攻擊實驗

在這里，針對兩種經典的白盒攻擊方法PGD攻擊和 C&W攻擊，作者比較了利用ODI初始化和普通的隨機初始化（naive）的對抗攻擊性能，如下表所示。

我們可以看到，在兩種攻擊方法PGD和C&W中，采用ODI策略的方法比普通的隨機采樣在多個模型上都能取得更低的準確率，也就是具有更強的攻擊效力。此外，相比于基于MNIST數據集訓練的模型，ODI方法在基于CIFAR-10和ImageNet數據集訓練的模型上顯示出了更大的優勢（ODI的結果和na?ve的結果差距更大）。作者猜測這可能是受到模型非線性程度的影響。由于基于CIFAR-10和ImageNet的模型具有更強的非線性，因此輸入空間和輸出空間兩者的多樣性之間的差距更大，而ODI由于使得樣本輸出足夠多樣化，故而有效增強了對抗攻擊的性能。

?

作者進一步比較了結合ODI策略的PGD攻擊方法（ODI-PGD）與其他對抗攻擊方法的性能，如下表所示：

這里tuned ODI-PGD是指參數經過微調后的ODI-PGD。可以看到，tuned ODI-PGD具有最好的性能，而在基于CIFAR-10的模型上，一般的ODI-PGD的性能也能超過tuned PGD, 同時還具有更小的計算開銷。

?

2、黑盒攻擊實驗

在這里，作者主要評估了利用ODS策略的黑盒攻擊方法和其他攻擊方法在生成對抗樣本的過程中查詢次數的多少。

如上表所示，作者比較了結合ODS的黑盒攻擊方法（SimBA-ODS）和原始的黑盒攻擊方法（SimBA-DCT），可以發現SimBA-ODS大大減少了查詢次數，同時具有更小的擾動距離，也就是更加接近正常樣本。

?

此外，作者還比較了查詢次數和攻擊成功率的關系，以及查詢次數和擾動大小的關系。

如上圖所示，可以發現結合ODS的方法（SimBA-ODS）比一般方法（Square）能在較少的查詢次數時就達到很高的攻擊成功率，從而可以大大減少計算時間開銷。

如上圖所示，在有目標攻擊和無目標攻擊中，結合ODS的攻擊方法（Boundary-ODS）在3000多次查詢后就能達到其他方法10000次查詢才達到的對抗擾動水平。

---

推薦閱讀

（點擊標題可跳轉閱讀）

干貨 | 公眾號歷史文章精選

我的深度學習入門路線

我的機器學習入門路線圖

重磅！

AI有道年度技術文章電子版PDF來啦！

掃描下方二維碼，添加?AI有道小助手微信，可申請入群，并獲得2020完整技術文章合集PDF（一定要備注：入群?+ 地點 + 學校/公司。例如：入群+上海+復旦。?

長按掃碼，申請入群

（添加人數較多，請耐心等待）

感謝你的分享，點贊，在看三連↓

總結

以上是生活随笔為你收集整理的ODS：输出多样化采样，有效增强白盒和黑盒攻击的性能 | NeurIPS 2020的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。