?PaperWeekly 原創(chuàng) ·?作者｜尹娟

學(xué)校｜北京理工大學(xué)博士生

研究方向｜隨機(jī)過程、復(fù)雜網(wǎng)絡(luò)單位

引言

貝葉斯神經(jīng)網(wǎng)絡(luò)（BNN）在最近幾年得到了一定的重視，因?yàn)槠渚哂幸欢ǖ耐茢嗄芰ΑNN 不同于一般的 DNN，其權(quán)重參數(shù)是隨機(jī)變量，而非確定的值，它是通過概率建模和神經(jīng)網(wǎng)絡(luò)結(jié)合起來，并能夠給出預(yù)測結(jié)果的置信度。

其先驗(yàn)用來描述關(guān)鍵參數(shù)，并作為神經(jīng)網(wǎng)絡(luò)的輸入。神經(jīng)網(wǎng)絡(luò)的輸出用來描述特定的概率分布的似然。通過采樣或者變分推斷來計(jì)算后驗(yàn)分布。這對于很多問題來說非常關(guān)鍵，由于 BNN 具有不確定性量化能力，所以具有非常強(qiáng)的魯棒性。

本文分析了貝葉斯神經(jīng)網(wǎng)絡(luò)對對抗攻擊具有一定的魯棒性并且分析了在大數(shù)據(jù)量、過參數(shù)極限下的對抗攻擊的幾何結(jié)構(gòu)。并且作者證明了，在一定范圍內(nèi)，由于數(shù)據(jù)分布中的簡并性（高維數(shù)據(jù)可以映射到低維流形上），當(dāng)數(shù)據(jù)位于環(huán)境空間的低維子流形上時，基于梯度的攻擊的脆弱性就會出現(xiàn)，并且本論文提供了相關(guān)的代碼，最后一部分會介紹相關(guān)的代碼。

論文標(biāo)題：

Robustness of Bayesian Neural Networks to Gradient-Based Attacks

論文鏈接：

https://arxiv.org/abs/2002.04359

論文的貢獻(xiàn)

本文的貢獻(xiàn)可以歸結(jié)如下三點(diǎn)：

• 作者提出了在大數(shù)據(jù)限制下 BNNs 對抗魯棒性分析的理論框架，該理論框架也是該論文的核心貢獻(xiàn)。

• 作者證明了在損失函數(shù)梯度的后驗(yàn)平均值為零的情況下，貝葉斯神經(jīng)網(wǎng)絡(luò)會對基于梯度的攻擊的具有一定的魯棒性，論文中的定理，引理和推論都以此展開。

• 該論文是一篇理論和實(shí)驗(yàn)相對嚴(yán)格的文章，實(shí)驗(yàn)表明 BNN 對基于梯度的攻擊具有魯棒性，能夠抵抗已知的精度魯棒性權(quán)衡，與作者的證明很好的切合。

模型介紹

3.1 核心思想

論文作者通過理論推導(dǎo)和大量的實(shí)驗(yàn)證明了貝葉斯神經(jīng)網(wǎng)絡(luò)具有一定的魯棒性，網(wǎng)絡(luò)本身就可以抵御一定的對抗攻擊，并且提出了攻擊貝葉斯神經(jīng)網(wǎng)絡(luò)的方法 FGSM（類似于攻擊傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的 FGSM），類似的還有 PGD 和 MIM 等迭代的攻擊。

3.2 貝葉斯網(wǎng)絡(luò)

貝葉斯模型可以通過預(yù)測器的集合來捕捉數(shù)據(jù)驅(qū)動模型的內(nèi)在認(rèn)知下的不確定性；它通過將算法參數(shù)（以及相應(yīng)的預(yù)測）轉(zhuǎn)化為隨機(jī)變量來實(shí)現(xiàn)。在神經(jīng)網(wǎng)絡(luò)中，對于具有輸入 和網(wǎng)絡(luò)權(quán)重參數(shù) 的神經(jīng)網(wǎng)絡(luò) ，則從網(wǎng)絡(luò)權(quán)重 的先驗(yàn)度量開始。通過似然 評估權(quán)重為 的網(wǎng)絡(luò)與數(shù)據(jù) 的擬合度。

貝葉斯推理通過 Bayes 定理將似然和先驗(yàn)相結(jié)合，得到權(quán)重空間 的后驗(yàn)測度。神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練可以看作是貝葉斯推理的一種近似。對于 NNs 這樣的非線性/非共軛模型來說，精確地獲得后驗(yàn)分布是不可能的。

后驗(yàn)分布的漸近精確樣本可以通過蒙特卡洛模擬來獲得，對于一個新輸入的樣本 貝葉斯預(yù)測都是從 n 個神經(jīng)網(wǎng)絡(luò)的集合中獲得的，每個神經(jīng)網(wǎng)絡(luò)的權(quán)重都來自于其后驗(yàn)分布 ：

論文中這這部分作者沒有詳細(xì)展開說明，不過可以從公式可以推測出來 表示的是已知訓(xùn)練數(shù)據(jù)集的情況下，貝葉斯神經(jīng)網(wǎng)絡(luò)給出的樣本 的預(yù)測， 表示是不同權(quán)重參數(shù)的給出預(yù)測的期望，然后用蒙特卡洛模擬將期望形式轉(zhuǎn)化成離散的平均加和的形式。

3.3 對抗攻擊

給定樣本點(diǎn) 和攻擊強(qiáng)度（也是攻擊擾動量），則生成對抗樣本 x 的目標(biāo)函數(shù)為：*

要知道 是非線性非凸的，基于梯度的一階攻擊方法是一種高效的求解方式，與 Goodfellow 提出的生成傳統(tǒng)對抗樣本的 FGSM 方法的原理相似，論文作者提出了相類似的貝葉斯神經(jīng)網(wǎng)路生成對抗樣本的方法，具體形式如下所示：

類似的還有 PGD 和 MIM 等迭代攻擊的形式，本文著重講解有關(guān) FGSM 的相關(guān)算法。

3.4 貝葉斯神經(jīng)網(wǎng)絡(luò)對抗魯棒性

本文這一部分會涉及到一個定理，兩個引理和一個推論，其中心思想突出的是貝葉斯神經(jīng)網(wǎng)絡(luò)具有一定的魯棒性并分析了數(shù)據(jù)流形和對樣樣本之間的關(guān)系，作者提出了針對貝葉斯神經(jīng)網(wǎng)絡(luò)的對抗攻擊。

直觀上 BNN 對抗性攻擊的魯棒性的一個可能的解釋是后驗(yàn)下的平均值可能導(dǎo)致梯度的最終期望值為 0。這種平均特性與所謂的數(shù)據(jù)流形幾何結(jié)構(gòu)密切相關(guān)。作者證明了隨機(jī)梯度下降法（在分布水平上）在過參數(shù)、大數(shù)據(jù)極限下的可以全局收斂性。

定理1：令 是一個訓(xùn)練完全，過參數(shù)化的貝葉斯神經(jīng)網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)的樣本數(shù)據(jù)流形為 ，先驗(yàn)權(quán)重參數(shù)為 。假定 處處存在，在大數(shù)據(jù)的極限下，會有如下形式：

定理 1 說明在網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)量高精度和強(qiáng)表達(dá)的情況下，BNN 梯度的平均效應(yīng)對網(wǎng)絡(luò)具有一定的保護(hù)作用。隨著網(wǎng)絡(luò)參數(shù)和訓(xùn)練輸入數(shù)目的增加，梯度期望值的大小會減小。

定理 1 是在一致先驗(yàn)假設(shè)下被證明的；我們可以觀察到定理中提及了在大數(shù)據(jù)的極限下這個條件，換言之如果突破這個極限，與理想情況會有一定的偏差。

引理1：令 是一個訓(xùn)練完全，過參數(shù)化的貝葉斯神經(jīng)網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)的樣本數(shù)據(jù)流形為 ，先驗(yàn)權(quán)重參數(shù)為 。令 ，則 表示以 為中心， 為半徑的多維球體，那么 對基于梯度攻擊有強(qiáng)度 的魯棒性。

引理 1 說明了當(dāng)在目標(biāo)函數(shù)收斂時，過參數(shù)神經(jīng)網(wǎng)絡(luò)可在無限數(shù)據(jù)極限下對整個數(shù)據(jù)流實(shí)現(xiàn)零損失，這意味著函數(shù) 將在 處局部恒定，所以貝葉斯神經(jīng)網(wǎng)絡(luò) 可以抵御一定程度的對抗攻擊。

推論1：令 是一個訓(xùn)練完全，過參數(shù)化的貝葉斯神經(jīng)網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)的樣本數(shù)據(jù)流形為 ，并且數(shù)據(jù)分布平滑的。如果 在樣本點(diǎn) 受到對抗攻擊的數(shù)據(jù)維度為 。

推論 1 說明了對抗性攻擊可能源于數(shù)據(jù)流形的退化。事實(shí)上 Goodfellow 曾經(jīng)提出過對抗性的擾動會出現(xiàn)在與數(shù)據(jù)流形垂直的方向上。嵌入空間中數(shù)據(jù)流形的余維越高，對抗樣本就越有可能存在于與其垂直的隨機(jī)方向上。

引理2：令 是一個訓(xùn)練完全，過參數(shù)化的貝葉斯神經(jīng)網(wǎng)絡(luò)，其中該網(wǎng)絡(luò)的樣本數(shù)據(jù)流形為 ，先驗(yàn)權(quán)重參數(shù)為 。樣本 由概率梯度 所攻擊，在無限數(shù)據(jù)的極限下，對于幾乎所有的 ，存在一組權(quán)重 ，使得：

引理 2 說明可以通過求出目標(biāo)函數(shù)的概率梯度，以此適當(dāng)?shù)鼐植繑_動完全訓(xùn)練的神經(jīng)網(wǎng)絡(luò) ，以達(dá)到攻擊貝葉斯神經(jīng)網(wǎng)絡(luò)的目的。

實(shí)驗(yàn)結(jié)果

下圖表示的是在半月數(shù)據(jù)集（頭一次聽說）中 100 個二維測試點(diǎn)上的預(yù)期損失梯度分量（其顯示了損失函數(shù)的兩個偏導(dǎo)數(shù)）。每個點(diǎn)代表不同的神經(jīng)網(wǎng)絡(luò)架構(gòu)。作者使用了一組 HMC-BNN（HMC 表示的是蒙特卡洛模擬），通過改變隱藏神經(jīng)元的數(shù)量和訓(xùn)練點(diǎn)。

論文只考慮了模型測試精度大于80%的情況。可以觀察到當(dāng)損失梯度趨于零時，訓(xùn)練點(diǎn)數(shù)量和參數(shù)數(shù)量不斷增加，隨著從?的后驗(yàn)分布中提取的樣本數(shù)量增加，梯度的所有分量都接近于零，實(shí)驗(yàn)結(jié)果與定理 1一致，只有通過集合預(yù)測器的貝葉斯平均，梯度才能被抵消趨近為 0。

下圖為 MNIST （頂行）和 Fashion MNIST（下一行）的示例圖像及其與 HMC（左）和 VI（右）訓(xùn)練的網(wǎng)絡(luò)的期望損失梯度。在圖像的右側(cè)，還繪制了漸變值的熱圖。下圖說明當(dāng)從后驗(yàn)預(yù)測分布中增加樣本數(shù)時，貝葉神經(jīng)網(wǎng)絡(luò)的期望損失梯度呈現(xiàn)消失行為。

下圖顯示了來自 MNIST 和 Fashion MNIST 數(shù)據(jù)集的 1000 個不同測試圖像的 784 個梯度分量。梯度是在 HMC（a）和 VI（b）訓(xùn)練的貝葉斯神經(jīng)網(wǎng)絡(luò)上計(jì)算的。對于 HMC 和 VI，梯度分量的大小隨著樣本數(shù)量的增加而下降，并且在從后驗(yàn)分布中抽取 100 個樣本時趨于穩(wěn)定在零附近，這表明作者分析的 BNN 近似滿足定理 1 中規(guī)定的條件。在 HMC 訓(xùn)練的網(wǎng)絡(luò)上計(jì)算的梯度更快地降到零。

下表表示了在 HMC 和 VI 訓(xùn)練的 BNNs 對隨機(jī)擾動攻擊、FGSM 和 PGD 的對抗魯棒性，其中為 500 幅圖像的對抗準(zhǔn)確度（即網(wǎng)絡(luò)返回干擾輸入的真實(shí)標(biāo)簽的概率）。

對于每個圖像，作者使用 250 個后驗(yàn)樣本計(jì)算期望的梯度。對于所有攻擊，作者都使用了與訓(xùn)練過程中使用的可能性相關(guān)的分類交叉熵?fù)p失函數(shù)。可以觀察到隨機(jī)攻擊優(yōu)于基于梯度的攻擊，說明梯度的消失行為使得 FGSM 和 PGD 攻擊失效。

下圖為使用 HMC（a）、VI（b）和 SGD（藍(lán)點(diǎn)）訓(xùn)練的貝葉斯神經(jīng)網(wǎng)絡(luò)在 MNIST（第一行）和 Fashion MNIST（第二行）上的穩(wěn)健性-準(zhǔn)確性示意圖。HMC 上的實(shí)驗(yàn)表明精度和魯棒性之間存在正相關(guān)關(guān)系。箱線圖顯示了模型容量和魯棒性之間的相關(guān)性。

對于用 VI 訓(xùn)練的貝葉斯神經(jīng)網(wǎng)絡(luò)，魯棒性似乎與準(zhǔn)確度呈負(fù)相關(guān)。可以觀察到模型大小有一些變化趨勢，僅在使用 MNIST 訓(xùn)練的情況下觀察到這一點(diǎn)，在這種情況下，模型魯棒性可能會隨著層寬度的增加而增加，但這也會導(dǎo)致魯棒性差（這可能表示模式崩潰）。

總結(jié)思考

貝葉斯神經(jīng)網(wǎng)絡(luò)興起的原因不僅在于其可以通過學(xué)習(xí)訓(xùn)練數(shù)據(jù)進(jìn)行推理而且在于貝葉斯網(wǎng)絡(luò)訓(xùn)練的模型比傳統(tǒng)訓(xùn)練網(wǎng)絡(luò)訓(xùn)練的模型更具魯棒性，可以抵御一定的對抗攻擊。

讀完該論文自己一直有一個問題，論文中定理，引理還有推論中提及的那個條件“在大數(shù)據(jù)的極限下”，這個極限到底是多少，換言之如果突破這個極限所有的定理，引理還有推論都不成立，作者也坦言也不是很清楚自己論文中的實(shí)驗(yàn)數(shù)據(jù)量離這個極限有多近。

不過該論文相對嚴(yán)格的給出了他的證明和實(shí)驗(yàn)，并且突出了對抗的脆弱性和數(shù)據(jù)流形幾何結(jié)構(gòu)之間的深刻聯(lián)系；正是這種聯(lián)系能夠證明，原則性隨機(jī)化可能是在高維環(huán)境下提供魯棒性的有效方法，為未來提供了以較低的計(jì)算成本對模型進(jìn)行對抗保護(hù)的研究方向。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個，讓知識真正流動起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個人原創(chuàng)作品，來稿需注明作者個人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號后臺點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的贝叶斯神经网络对梯度攻击的鲁棒性的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。