?PaperWeekly 原創(chuàng) ·?作者?|?張一帆

學(xué)校?|?中科院自動(dòng)化所博士生

研究方向?|?計(jì)算機(jī)視覺(jué)

本文主要介紹對(duì)抗攻擊/防御的基本概念和一篇論文的亮點(diǎn)。

論文標(biāo)題：

Learning perturbation sets for robust machine learning

論文鏈接：

https://arxiv.org/abs/2007.08450

Overview of adversarial attacks and defenses

1.1 Adversarial attacks

對(duì)抗性攻擊通常被定義為一個(gè)優(yōu)化問(wèn)題，在這個(gè)問(wèn)題中，“對(duì)手”試圖在一組允許的擾動(dòng)上最大化分類器的損失。特別的，給定一個(gè)數(shù)據(jù)點(diǎn) ，一個(gè)分類器 和一個(gè)損失 ，使得 表示我們?cè)试S的擾動(dòng)集合，那么一個(gè)對(duì)抗攻擊的樣本可以寫作如下優(yōu)化問(wèn)題的解：

通過(guò)定義或限制 ?可以獲得不同類型的對(duì)抗性例子。例如，我們可以定義具有一般距離度量 的對(duì)抗集合如下：

如果 ，這就是通常所說(shuō)的 對(duì)抗樣本，用來(lái)捕獲“難以察覺(jué)的”非結(jié)構(gòu)化噪聲。對(duì)于圖像來(lái)說(shuō)，這個(gè)距離可以由定義良好的空間轉(zhuǎn)換產(chǎn)生，例如旋轉(zhuǎn)的角度數(shù)或平移產(chǎn)生。然而對(duì)于真實(shí)世界的對(duì)抗攻擊而言， 要復(fù)雜得多。也就是說(shuō)，如果 太小那么完全不足以模擬真實(shí)世界的對(duì)抗工具，但是 太大又會(huì)包含所有的樣本，因此 -ball 并不是很合適。

1.2 Adversarial defenses

對(duì)抗性防御是學(xué)習(xí)對(duì)對(duì)抗性攻擊具有魯棒性的分類器的方法，可以建模為如下的 min-max 問(wèn)題：

顯然這個(gè)優(yōu)化問(wèn)題也很大程度上依賴于 ，目前的工作大多數(shù)關(guān)注 是一個(gè) -ball 的簡(jiǎn)單情況來(lái)分析 bound，設(shè)計(jì)算法等，與真實(shí)世界相距甚遠(yuǎn)。

這篇文章的亮點(diǎn)在于用生成模型建模對(duì)抗樣本集合，從而彌合了現(xiàn)實(shí)世界的攻擊和 對(duì)抗性防御之間的差距。

Defining perturbation sets with generative modeling

首先 high-level 的介紹一下作者的主要目的，給定一個(gè)訓(xùn)練集合 ，其中 是 的擾動(dòng)版本。我們的目的是訓(xùn)練一個(gè)條件生成器：

將 基于一個(gè)隱變量 映射到 ，正式定義如下：

可以看到這里 即代表了不同的擾動(dòng)。這樣一個(gè)生成模型更加復(fù)雜，也更加的有力！

我們也可以通過(guò)概率的角度理解這個(gè)事情：

擾動(dòng)集的這種表征導(dǎo)致了一個(gè)定義良好的生成過(guò)程，允許我們抽取隨機(jī)樣本，使其非常適合于一般情況下的穩(wěn)健性。

雖然看起來(lái)這東西好像很 work，但是我們不禁要問(wèn)：“為什么此處的 能夠包含真實(shí)世界的擾動(dòng)？”由于定義擾動(dòng)集的生成器是從數(shù)據(jù)中學(xué)習(xí)的，我們必須仔細(xì)評(píng)估這個(gè)擾動(dòng)集的質(zhì)量。接下來(lái)我們簡(jiǎn)要討論文中提出的兩個(gè)用于評(píng)測(cè)的標(biāo)準(zhǔn)。

Necessary subset property（NSP）

學(xué)到的擾動(dòng)集至少要是訓(xùn)練數(shù)據(jù)集的一個(gè)很接近的近似，稍微正式一點(diǎn)就是說(shuō)。給定一個(gè)近似誤差 ，我們的 滿足 Necessary subset property 當(dāng)且僅當(dāng)對(duì)于任意一個(gè)數(shù)據(jù)對(duì) ，存在一個(gè) 使得 。

換句話說(shuō)，我們觀察到的擾動(dòng)集合是學(xué)到 的一個(gè)下界，那么我們?cè)? 上的 worst-case loss 就是觀察集合上的 upper-bound。而傳統(tǒng)的 -ball 永遠(yuǎn)有 0 近似損失。

Sufficient likelihood property（SLP）

但是只有上述條件還不夠，考慮 ，那么 NSP 總是滿足的（it contains everything），但是這個(gè) 本身是非常不合理的。因此第二條我們限制這個(gè)擾動(dòng)集合不要包含的太多，給定 和數(shù)據(jù) ，SLP 條件可以定義為：

為什么這個(gè)條件可以限制擾動(dòng)集不應(yīng)該包含“太多”，因?yàn)樗仨氋x予期望中的真實(shí)數(shù)據(jù)很高的可能性。這有效地限制了擾動(dòng)集的范圍，并激發(fā)了它作為一種通過(guò)從潛在空間采樣的隨機(jī)數(shù)據(jù)擴(kuò)充形式的使用。

總結(jié)一下 NSP 和 SLP 分別從上下界的形式限制了擾動(dòng)集，使得擾動(dòng)集能夠反映真實(shí)世界的擾動(dòng)。

Learning perturbation sets with conditional variational autoencoders

接下來(lái)主要看一下文章是如何利用 CVAE 來(lái)學(xué)習(xí)一個(gè)滿足上述條件的生成器的。傳統(tǒng) CVAE 的訓(xùn)練過(guò)程是這樣的，基于隱變量 和任意變量 來(lái)生成 ，而這里的話任意變量反而是 ，生成目標(biāo)是 ，所有的概率分布被建模成遵循對(duì)角方差的多元正態(tài)分布：

CVAE 的訓(xùn)練目標(biāo)即 ELBO：

所以將本文對(duì)應(yīng)的 CVAE 的生成過(guò)程公式化一下就是：

用偽代碼描述一下就是：

def?generator(X,z):?prior_params?=?cvae.prior(X)z?=?cvae.reparameterize(prior_params,?z)return?cvae.decode(X,z)

然后通過(guò)將隱空間限制在一個(gè) -ball 中我們就能得到一個(gè)擾動(dòng)集：

現(xiàn)在問(wèn)題轉(zhuǎn)化為如何為擾動(dòng)集選擇一個(gè)合適的半徑 ，太小的? 會(huì)使得擾動(dòng)集太小無(wú)法建模真實(shí)擾動(dòng)，太大的話容易包含不真實(shí)的擾動(dòng)。文中通過(guò)如下方式確定 的值：

其中 是 CVAE 計(jì)算出后驗(yàn)概率分布的均值， 是先驗(yàn)概率的均值和方差。

由于 CVAE 的后驗(yàn)均值被訓(xùn)練為重構(gòu)擾動(dòng)數(shù)據(jù)，因此這種估計(jì)確保了所得到的擾動(dòng)數(shù)據(jù)包含合理的版本（訓(xùn)練數(shù)據(jù)）。為了使得這個(gè)計(jì)算不對(duì)訓(xùn)練集過(guò)擬合，一般使用 held-out 的驗(yàn)證集進(jìn)行計(jì)算。

Theory of CVAEs and perturbation sets

最后，模型已經(jīng)明晰了，作者給出兩個(gè)定理證明了在一定條件假設(shè)下，優(yōu)化 CAVE 的目標(biāo)學(xué)到的模型能夠滿足上述的兩個(gè)條件。這里不涉及具體證明細(xì)節(jié)，只說(shuō)一說(shuō)為什么或者證明的大概思路。

首先作者對(duì)后驗(yàn)概率和 KL 散度進(jìn)行約束，給他們一個(gè) bound。

這里可以和之前的兩個(gè)條件聯(lián)系起來(lái)，NSP 為了約束模型對(duì)數(shù)據(jù)集的擬合，加上了擾動(dòng)樣本近似誤差上界的限制，而 SLP 為了確保擾動(dòng)集“不太大”加上了對(duì)后驗(yàn)概率下界的限制，這里將 CVAE loss 的兩個(gè)部分給上 bound，因此證明方向是這樣的：

對(duì)于 NSP，我們只需要將 upper bound 使用 CVAE loss 假設(shè)的兩個(gè)值做個(gè) bound 即可。

對(duì)于 SLP，我們本應(yīng)該找 SLP 中的 值與 之間的關(guān)系，不過(guò)這里找到了他的替代——為重構(gòu)損失找個(gè)上界等價(jià)于對(duì)似然找個(gè)下界，這也是上面這個(gè)定理的與 SLP 之間的聯(lián)系。

這兩個(gè)定理的主要結(jié)論是，優(yōu)化 CVAE 目標(biāo)自然會(huì)得到一個(gè)滿足 NSP 和 SLP 的擾動(dòng)集。因此，學(xué)習(xí)的擾動(dòng)集對(duì)于對(duì)抗魯棒性是有用的，因?yàn)楸匾淖蛹再|(zhì)意味著擾動(dòng)集不會(huì)錯(cuò)過(guò)被擾動(dòng)的數(shù)據(jù)。它對(duì)于數(shù)據(jù)擴(kuò)充也很有用，因?yàn)槌浞炙迫恍再|(zhì)保證了擾動(dòng)數(shù)據(jù)以高概率發(fā)生。

Experiments

通過(guò)學(xué)習(xí)產(chǎn)生的擾動(dòng)集可以很好的提升 OOD 的性能，其效果相比于其他 baseline 堪稱驚艷。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對(duì)于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競(jìng)賽經(jīng)驗(yàn)講解等。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????稿件基本要求：

? 文章確系個(gè)人原創(chuàng)作品，未曾在公開(kāi)渠道發(fā)表，如為其他平臺(tái)已發(fā)表或待發(fā)表的文章，請(qǐng)明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無(wú)版權(quán)問(wèn)題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競(jìng)爭(zhēng)力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來(lái)稿請(qǐng)備注即時(shí)聯(lián)系方式（微信），以便我們?cè)诟寮x用的第一時(shí)間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長(zhǎng)按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的ICLR 2021 | 使用CVAE学习干扰集，增强OOD以及对抗防御的能力的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。