**關(guān)于對抗性攻擊對深度學(xué)習(xí)威脅的研究**

Naveed Akhtar and Ajmal Mian
ACKNOWLEDGEMENTS: The authors thank Nicholas Carlini (UC Berkeley) and Dimitris Tsipras (MIT) for feedback to improve the survey quality. We also acknowledge X. Huang (Uni. Liverpool), K. R. Reddy (IISC), E. Valle (UNICAMP), Y. Yoo (CLAIR) and others for providing pointers to make the survey more comprehensive. This research was supported by ARC grant DP160101458.

摘要:深度學(xué)習(xí)時現(xiàn)在飛速發(fā)展的人工智能的核心技術(shù)。在計算機(jī)視覺領(lǐng)域，它已成為從自動駕駛以及監(jiān)控安防應(yīng)用鄰域的主力軍。盡管神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明在解決復(fù)雜問題的領(lǐng)域（通常超越人類的能力范圍）取得了成功，但是最近的研究表明，神經(jīng)網(wǎng)絡(luò)很容易受到對輸入進(jìn)行微小擾動的對抗性攻擊，導(dǎo)致模型預(yù)測出不正確的結(jié)果。以圖片為例，一個難以察覺到的微小擾動就足以欺騙深度學(xué)習(xí)模型，對抗性攻擊給深度學(xué)習(xí)成功投入到實際應(yīng)用帶來了一系列的威脅。近來，這一事實也使得這一方向取得了大量的發(fā)展。本文首先對機(jī)器視覺鄰域的深度學(xué)習(xí)對抗性攻擊展開課整合性的調(diào)查。我們回顧設(shè)計對抗性攻擊的工作，分析此類攻擊的存在性并提出針對它們的防御措施。為了強(qiáng)調(diào)對抗性攻擊可能出現(xiàn)在實際生活條件中，我們分別審查評估真實場景中對抗性攻擊的功效。最后，借鑒已審閱的論文，我們?yōu)檫@個方向上的研究提供了一個更加廣闊的視野。
索引條目：深度學(xué)習(xí)，對抗性擾動，黑盒攻擊，白盒攻擊，對抗性學(xué)習(xí)，擾動檢測。
1 簡介
深度學(xué)習(xí)技術(shù)為機(jī)器學(xué)習(xí)以及人工智能社區(qū)的那些經(jīng)歷了許多嘗試的難題帶來了突破性的進(jìn)展。因此，它正在以前所未有的規(guī)模被用來解決艱難的科學(xué)問題，例如，大腦回路的重構(gòu)；分析DNA的突變；研究潛在的藥物分子的構(gòu)效以及分析粒子加速器的數(shù)據(jù)。深度學(xué)習(xí)已經(jīng)變成了語音識別以及自然語言理解領(lǐng)域解決許多挑戰(zhàn)性任務(wù)的最佳選擇。
在計算機(jī)視覺領(lǐng)域，在Krizhevsky 等人于2012年公布卷積神經(jīng)網(wǎng)絡(luò)（CNN）在一個大規(guī)模的富有挑戰(zhàn)性的數(shù)據(jù)集上表現(xiàn)出了極佳的性能之后，深度學(xué)習(xí)成為了關(guān)注的焦點。目前深度學(xué)習(xí)普及的一個重要功勞也可以歸功于這項開創(chuàng)性的工作。只從2012年以來計算機(jī)視覺社區(qū)已經(jīng)為深度學(xué)習(xí)的做出了大量有價值的貢獻(xiàn)。這也使得了它為醫(yī)藥科學(xué)以及移動應(yīng)用等領(lǐng)域遇到的問題提供了解決的 方案。最近人工智能領(lǐng)域匯總基于零樣本學(xué)習(xí)的AlphaGo Zero取得了突破性的發(fā)展，這也要歸功于深度殘差網(wǎng)絡(luò)(ResNet)，其一開始是為圖片識別任務(wù)而提出的。
隨著深度神經(jīng)網(wǎng)絡(luò)模型的持續(xù)改善，高效的深度學(xué)習(xí)軟件庫的開發(fā)以及在硬件上訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型變得更加的容易，深度學(xué)習(xí)已經(jīng)快速地投入到安防領(lǐng)域的應(yīng)用當(dāng)中。例如：自動駕駛、安防監(jiān)控、惡意軟件檢測、無人機(jī)以及機(jī)器人，以及聲控識別技術(shù)。隨著真實世界中深度學(xué)習(xí)的發(fā)展，例如面部識別的ATM機(jī)，已經(jīng)安全臉部識別的移動手機(jī)，都預(yù)示著深度學(xué)習(xí)所取得的革命性成果，特別是這些源自于機(jī)器視覺的問題在我們的日常生活中扮演了一個重要的角色。
Szegedy等人認(rèn)為，深度學(xué)習(xí)能夠以驚人的精度執(zhí)行各種計算機(jī)視覺任務(wù)。他們在圖像分類上發(fā)現(xiàn)了一個神經(jīng)網(wǎng)絡(luò)的有趣的弱點。他們表示盡管神經(jīng)網(wǎng)絡(luò)取得了很高的分類準(zhǔn)確率，但他們很容易受到圖像上微小的擾動(人類視覺系統(tǒng)很難察覺到)所帶來的對抗性攻擊。這樣的攻擊可以完全改變神經(jīng)網(wǎng)絡(luò)分類器在該圖片上的預(yù)測結(jié)果。更加糟糕的是，攻擊模型可以使得神經(jīng)網(wǎng)絡(luò)在錯誤的預(yù)測上報告出更高的置信度，而且相同的圖片擾動可以欺騙多網(wǎng)絡(luò)分類器。這些研究發(fā)現(xiàn)的成果使得研究人員更加地關(guān)注深度學(xué)習(xí)的對抗性攻擊以及一般的深度學(xué)習(xí)防御機(jī)制。
由于Szegedy等人的發(fā)現(xiàn)，關(guān)于計算機(jī)視覺中深度學(xué)習(xí)的對抗性攻擊的研究，已經(jīng)得出了幾個有趣的結(jié)果。例如，除了圖片的對抗性擾動之外，Moosavi-Dezfooli等人表明，在任意一張圖片上都存在著廣泛的可以欺騙神經(jīng)網(wǎng)絡(luò)分類器的擾動。(如圖1所示).與此類似地， Athalye 等人表明3D打印出來的物體可以欺騙深度神經(jīng)網(wǎng)絡(luò)分類器(見圖4.3.)本文結(jié)合計算機(jī)視覺中深度學(xué)習(xí)研究的意義及其在現(xiàn)實生活中的潛在應(yīng)用，與此同時，提出了第一個關(guān)于計算機(jī)視覺中深度學(xué)習(xí)的對抗性攻擊的綜合性調(diào)查。本文旨在為除了計算機(jī)視覺社區(qū)之外提供更廣泛的讀者群，因此它只涉及到深度學(xué)習(xí)和圖像處理的基本知識。 但它也為感興趣的讀者提供了重要貢獻(xiàn)的技術(shù)細(xì)節(jié)的相關(guān)討論。
在第二部分中我們主要描述了機(jī)器視覺的中涉及到的對抗性攻擊的相關(guān)術(shù)語。在第三部分中，我們回顧了圖像分類任務(wù)中的對抗性攻擊以及除此之外的一些內(nèi)容。然后用一個單獨的部分專門介紹處理現(xiàn)實世界中對抗性攻擊的方法，這些方法將會在第四部分中重點介紹。在第五部分中我們也會重點分析現(xiàn)實中存在的對抗性攻擊。而在第六部分中我們將會介紹針對對抗性攻擊所采取的防御措施。在第7部分中，我們基于所評論的文獻(xiàn)提供了更廣泛的研究方向。 最后在第八部分中我們將得出結(jié)論。

2.定義相關(guān)術(shù)語
·在這一部分中，我們將會闡述一些在機(jī)器視覺學(xué)術(shù)界常用的一些術(shù)語。以下的文章中也有對于相關(guān)術(shù)語的相同定義。
·對抗性示例/圖像是有意擾亂的干凈圖像的修改版本，它通過向圖片中加入噪聲來欺騙深度學(xué)習(xí)技術(shù)，尤其是深度神經(jīng)網(wǎng)絡(luò)。
·對抗性擾動指的是將噪聲添加到清晰的圖片當(dāng)中以生成對抗性樣例
· 對抗性學(xué)習(xí)指的是利用對抗性圖片包括清晰的原圖來訓(xùn)練機(jī)器學(xué)習(xí)模型
· 對手更常見的是指創(chuàng)建對抗性示例的人。 但是，在某些情況下，示例本身也稱為對手
·黑盒攻擊指的是在測試期間向目標(biāo)模型喂入不利用任何模型的先驗知識所生成的對抗性示例。在一些例子中，人們也假定對手具有有限的模型相關(guān)知識(比如模型的訓(xùn)練過程以及結(jié)構(gòu))。但需要明確的是，模型中的參數(shù)是未知的。在另外的一些實例中，使用目標(biāo)模型的相關(guān)先驗信息則被稱為半黑盒攻擊。在本文中我們使用前一種約定方式。
·檢測器是一種用于檢測圖像是否是一個對抗性的機(jī)制。
·欺騙率指的是圖片擾動對模型正確預(yù)測的結(jié)果所帶來的改變的比率。
· one-shot/one-step的方法指的是通過一步的計算來生成對抗性的擾動。例如與只計算模型損失梯度一次相反的是利用迭代的方法多次執(zhí)行相同的計算以獲得單個擾動。但最后的計算開銷通常比較大。
·對于人類感知，準(zhǔn)不可察覺的擾動會非常輕微地?fù)p害圖像，這對于人眼很難辨別出來
· 整流器用于修改對抗性示例以將目標(biāo)模型的預(yù)測結(jié)果恢復(fù)為對原先的未經(jīng)擾動的示例的預(yù)測。
·目標(biāo)攻擊用于欺騙一個模型，使其錯誤地預(yù)測攻擊性圖片的標(biāo)簽，與非目標(biāo)性攻擊不同的是，非目標(biāo)性攻擊不考慮圖片與預(yù)測標(biāo)簽之間的相關(guān)性，其目的只是能使模型錯誤地預(yù)測圖片的標(biāo)簽即可。
威脅模型指的是通過一種方法考慮潛在攻擊的類型，例如 黑箱襲擊。
遷移性指的是攻擊性樣例對于除了被用來生成樣例的模型之外的其他模型仍然起作用。
普遍性的擾動指定的是可以以很高的概率通過任何的圖片欺騙所給的模型。值得注意的是，普遍性是指擾動的特性是“圖像不可知”而不是指具有良好的可遷移性。
白盒攻擊指的假設(shè)目標(biāo)模型的某些特性是已知的，包括模型的參數(shù)值，結(jié)構(gòu)，訓(xùn)練方法及其訓(xùn)練數(shù)據(jù)。

3.對抗性攻擊
在該部分中我們回顧了計算機(jī)視覺的相關(guān)文獻(xiàn)，介紹了深度學(xué)習(xí)中的對抗性攻擊方法。回顧的文獻(xiàn)中主要解決在實驗室配置的條件下來欺騙神經(jīng)網(wǎng)絡(luò)模型的問題，其主要利用了典型的計算機(jī)視覺任務(wù)開發(fā)的方法，例如識別。以及相關(guān)的高效的基準(zhǔn)數(shù)據(jù)庫，如MNIST數(shù)據(jù)集。這些技術(shù)集中在研究研究攻擊神經(jīng)網(wǎng)絡(luò)，而實際條件中的攻擊研究我們將會在第四部分中展開研究，。然而，值得注意的是，該部分的闡述將是現(xiàn)實情況下攻擊的基礎(chǔ)，其中的很多方法對實際應(yīng)用中的深度學(xué)習(xí)技術(shù)都會產(chǎn)生重大的影響。我們對不同部分內(nèi)容的分解是根據(jù)原始貢獻(xiàn)中的攻擊評估條件來進(jìn)行劃分的。
該部分的回顧主要按照邏輯的順序進(jìn)行展開，在討論的流程中幾乎不存在任何不贊成的觀點。為了向讀者提供核心概念的技術(shù)性理解，我們也討論了許多流行方法以及新興方向的技術(shù)細(xì)節(jié)。其他的方法我們將做簡短的討論。我們參考了原論文中這些技術(shù)的相關(guān)細(xì)節(jié)。該部分被分為兩個部分，在3.1中我們回顧了在最為尋常的機(jī)器視覺任務(wù)中進(jìn)行對抗性攻擊的方法。例如分類/識別問題，除了這些任務(wù)之外的一些攻擊方法我們將會在3.2中進(jìn)行討論。

3.1分類的對抗性攻擊
3.1.1 盒受限 L-BFGS
Szegady等人首次證明了圖片的微小擾動的存在，例如擾動的圖片可以使深度學(xué)習(xí)的模型錯誤的分類。$I_c\in R^m$表示原圖片的一個向量，下標(biāo)c指的是圖片是clean的，為了計算附加的通過輕微的扭曲來欺騙神經(jīng)網(wǎng)絡(luò)的擾動$\rho \in R^m$Szegedy等人提議解決以下問題：
$$mi{n}_p||\rho {|}_{2}s.t.C(I_c+\rho )=l;I_c+\rho \in [0,1{]}^m,(1)$$

其中l(wèi)指的是圖片的標(biāo)簽C(.)指的是深度神經(jīng)網(wǎng)絡(luò)分類器。作者提出了非平凡的解決(1)的方案使得l與原始的標(biāo)簽Ic不一致。在該例子中，（1）是一個困難的問題，因此采用了盒受限 L-BFGS的方法來尋找近似解。這個方法是通過尋找最小化大于0的c，使得ρ在下面的問題中滿足條件$C（I_c+\rho ）=l;$
$$mi{n}_{\rho }c|\rho |+L(I_c+\rho ,l)s.t.I_c+\rho \in [0,1{]}^m,(2)$$

總結(jié)

以上是生活随笔為你收集整理的论文：Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey翻译工作的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。