本工作提出了一種高效的基于決策的黑盒對(duì)抗攻擊算法，在業(yè)內(nèi)第一次以完全黑盒的方式成功地實(shí)現(xiàn)對(duì)人臉識(shí)別系統(tǒng)的對(duì)抗攻擊。本工作由騰訊 AI Lab 主導(dǎo)，與清華大學(xué)，香港科技大學(xué)聯(lián)合完成，發(fā)表于 CVPR 2019。

背景

在圖 1 示例中，我們用同樣的一個(gè)人臉識(shí)別模型（Arcface [1]）對(duì)兩幅看起來(lái)一模一樣的人臉圖像進(jìn)行識(shí)別，但是得到了完全不同的兩個(gè)識(shí)別結(jié)果。這是為什么呢？原因是右圖的人臉區(qū)域被加上了人眼無(wú)法察覺(jué)的惡意噪聲，專門用于欺騙人臉識(shí)別模型。這種現(xiàn)象叫做對(duì)抗樣本，即針對(duì)某種特定的模型（例如圖像分類模型 ResNet [2]），在正常樣本（例如 2D 圖像，3D 點(diǎn)云等）上加入微小的噪聲，使得模型原來(lái)的結(jié)果發(fā)生改變。

▲?圖1. 對(duì)抗樣本示例：（左）正常人臉圖像；（右）對(duì)抗人臉圖像。

以上圖像來(lái)自于視頻：https://www.youtube.com/watch?v=d7hZ1VhfygU&t=76s

對(duì)抗樣本現(xiàn)象揭示了機(jī)器學(xué)習(xí)模型尤其是深度學(xué)習(xí)模型的安全漏洞，近年來(lái)引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。研究人員已經(jīng)開發(fā)了針對(duì)深度學(xué)習(xí)模型的諸多對(duì)抗攻擊算法，最常見(jiàn)的例如 FGSM [3], PGD [4], C&W [5]?等。但是，這些方法都要求獲取被攻擊模型的全部結(jié)構(gòu)和參數(shù)，這種攻擊場(chǎng)景被稱作白盒攻擊。

但是在現(xiàn)實(shí)場(chǎng)景下，攻擊者是很難獲取被攻擊模型的參數(shù)甚至結(jié)構(gòu)的，只能夠獲取被攻擊模型的輸入結(jié)果。這種攻擊場(chǎng)景被稱為黑盒攻擊。根據(jù)所獲取模型輸出的類型，又可細(xì)分為1）基于分?jǐn)?shù)的黑盒攻擊，即能夠獲取模型輸出的后驗(yàn)概率或者分?jǐn)?shù)（例如人臉比對(duì)的相似度分?jǐn)?shù)），2）基于決策的黑盒攻擊，即只能獲取模型輸出的離散類別。很顯然，離散類別提供的關(guān)于模型的信息更少，基于決策的黑盒攻擊難度也最大。相對(duì)于白盒攻擊算法，基于決策的黑盒攻擊算法非常少，而且攻擊效率不高。?

針對(duì)這個(gè)難題，我們提出了一種新的搜索算法，充分利用了模型決策邊界的幾何結(jié)構(gòu)和進(jìn)化算法思想 [6]，大大提高了攻擊效率。

針對(duì)人臉比對(duì)模型的攻擊問(wèn)題建模

我們將人臉比對(duì)模型表示為，其中；表示參考人臉圖像，x 表示目標(biāo)人臉圖像；的作用是判斷 x 和? 是否為同一個(gè)人，如果相同，則返回 1，否則返回 0。

我們的攻擊任務(wù)是在目標(biāo)人臉圖像 x 的基礎(chǔ)上構(gòu)造一個(gè)對(duì)抗人臉圖像?，使得其與參考人臉圖像 ?的比對(duì)結(jié)果發(fā)生改變（即），同時(shí)使得 ?與 x 的視覺(jué)差異盡量小。該任務(wù)可以建模為以下優(yōu)化問(wèn)題：

其中，表示兩個(gè)圖像之間的距離度量，這里我們采用 L2 范數(shù)。?

在人臉比對(duì)場(chǎng)景中，根據(jù) x 和 ?是否為同一個(gè)人，上述攻擊任務(wù)還可以細(xì)分為以下兩種攻擊：?

1.?Dodging 攻擊：當(dāng)?x?和??為同一個(gè)人的兩張不同人臉圖像時(shí)，即；攻擊的目的是使得 ?被識(shí)別為不同于 ?的人，即。這種攻擊可以用于隱私保護(hù)，防止自身人臉圖像被第三方檢索。示例如下方左子圖。?

2.?Impersonation 攻擊：當(dāng) x 和 ?為不同人的人臉圖像時(shí)，即；攻擊的目的是使得 ?被識(shí)別與 ?是相同的人，即。這種攻擊可用于身份偽造，侵入他人賬號(hào)。示例如下方右子圖。

▲?圖2. 人臉比對(duì)攻擊示例。人臉圖像來(lái)源于LFW數(shù)據(jù)集 [7]

優(yōu)化算法

在上述優(yōu)化問(wèn)題中，由于人臉比對(duì)模型 f(·,·) 是未知的，我們無(wú)法對(duì)其進(jìn)行求導(dǎo)。因此常用的連續(xù)優(yōu)化算法（比如梯度下降法）都不適用。

我們提出了一種基于進(jìn)化思想的高效搜索算法。我們以圖3作為示意圖來(lái)說(shuō)明我們算法的主要思想。其中，黑色圓點(diǎn)表示目標(biāo)圖像 x；藍(lán)色曲線表示決策邊界（注意，這條曲線實(shí)際是不可見(jiàn)的），曲線的上方是不可行域（即），曲線下方是可行域（即）；灰色的 × 點(diǎn)表示已經(jīng)查詢過(guò)的不可行解，灰色的 ○?點(diǎn)表示已經(jīng)查詢過(guò)的可行解，綠色的圓點(diǎn)表示當(dāng)前可行解。其基本步驟如下：?

1. 以圖 3 左子圖為例，為了探索下一個(gè)可行解，我們需要進(jìn)行采樣。黑色橢圓表示采樣概率分布，其服從高斯分布。該分布的中心點(diǎn)為當(dāng)前可行解，協(xié)方差矩陣是則是根據(jù)歷史可行解進(jìn)行估計(jì)的，其基本思想是：根據(jù)歷史探索點(diǎn)，我們可以計(jì)算出各個(gè)方向的探索成功率；沿著成功率大的方向繼續(xù)探索，更容易找到下一個(gè)可行解。因此，我們根據(jù)該分布進(jìn)行第一步采樣，如從綠色圓點(diǎn)出發(fā)的第一個(gè)橙色箭頭，到達(dá)初始候選解（第一個(gè)橙色圓點(diǎn)）。

2. 經(jīng)過(guò)第一步采樣，我們可能找到下一個(gè)可行解，但是并不能保證的下降。因此，我們進(jìn)行第二步探索，即以初始候選解為出發(fā)點(diǎn)，沿著目標(biāo)圖像 x 移動(dòng)一小步（見(jiàn)第二個(gè)橙色箭頭），到達(dá)第二個(gè)候選解（即第二個(gè)橙色圓點(diǎn)）。

3. 隨后，我們?cè)趯?duì)第二個(gè)候選解進(jìn)行查詢，判斷其是否滿足約束：如果滿足，則將其作為最新可行解，如圖 3 右子圖所示，并對(duì)采樣概率分布（即黑色橢圓）進(jìn)行更新；如果不滿足，則保持當(dāng)前解不變，重新上述采樣過(guò)程。?

在上述搜索算法中，我們將圖像的每個(gè)像素當(dāng)作一個(gè)維度。整個(gè)搜索空間的維度非常高，這往往意味著搜索效率非常低。為此，我們?cè)谒阉髦星度肓藘煞N加速策略：

1. 隨機(jī)坐標(biāo)采樣：即每次采樣只在部分維度（即部分像素）進(jìn)行，而不是所有維度。維度的選取以采樣概率分布為依據(jù)，方差大的維度被選中的概率也更高。

2. 維度降采樣：我們假設(shè)對(duì)抗噪聲在像素坐標(biāo)系中也是空間平滑的，即相鄰像素的對(duì)抗噪聲相近。因此，我們均勻間隔地選取一部分像素作為我們搜索的子空間；但在子空間中找到一個(gè)候選解（即候選對(duì)抗噪聲）時(shí)，我們根據(jù)像素的空間坐標(biāo)進(jìn)行雙線性插值，得到一個(gè)全空間的候選解。?

上述算法的全部流程總結(jié)在圖 4 中。

▲?圖3.?算法示意圖

▲?圖4.?基于進(jìn)化思想的攻擊搜索算法

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)一：我們首先對(duì) ArcFace 人臉識(shí)別模型進(jìn)行了基于決策的黑盒攻擊，其攻擊效果如圖 5 所示。無(wú)論是 Dodging 攻擊還是 Impersonation 攻擊，隨機(jī)攻擊次數(shù)的增加，對(duì)抗噪聲越來(lái)越小，直至人眼無(wú)法察覺(jué)。每幅圖下方的數(shù)字代表其包含的對(duì)抗噪聲的 L2 范數(shù)。

▲?圖5. 對(duì)ArcFace模型的黑盒攻擊結(jié)果

實(shí)驗(yàn)二：對(duì)比攻擊實(shí)驗(yàn)。我們選取了幾種最新的基于決策的黑盒攻擊算法，包括Boundary [8], Optimization [9]?和 NES-LO [10]。雖然這幾種方法都是為攻擊一般圖像分類模型而設(shè)計(jì)的，但是也很容易改造為對(duì)人臉識(shí)別模型的攻擊，即替換約束條件。我們對(duì)當(dāng)前最流行的三種人臉識(shí)別模型上進(jìn)行了攻擊，包括 SphereFace [11], CosFace [12]?和 ArcFace [1]。

實(shí)驗(yàn)結(jié)果如表 1 所示，在相同查詢次數(shù)下，我們所提出的進(jìn)化攻擊算法所得到的對(duì)抗噪聲明顯小于其他對(duì)方方法的噪聲。在圖 6 中，我們還展示了噪聲水平隨著查詢次數(shù)的下降曲線，我們方法的下降曲線明顯快于其他對(duì)比方法。這些對(duì)比結(jié)果表明，我們的進(jìn)化攻擊算法的效率遠(yuǎn)遠(yuǎn)好于已有黑盒攻擊算法。

▲?圖6.?對(duì)ArcFace模型的黑盒攻擊的噪聲下降曲線

實(shí)驗(yàn)三：對(duì)人臉識(shí)別 API 的黑盒攻擊實(shí)驗(yàn)。很多人工智能公司都提供了人臉識(shí)別接口，可以通過(guò)訪問(wèn) API 的形式獲取人臉識(shí)別結(jié)果。我們選擇了騰訊 AI 開放平臺(tái)上的人臉比對(duì)接口（https://ai.qq.com/product/face.shtml#compare）進(jìn)行了測(cè)試。該接口可以返回人臉比對(duì)的相似度。但是，我們以 90% 為界限，超過(guò)則比對(duì)成功，即返回 1，否則返回 0。我們只根據(jù)查詢返回的 0 或者 1 來(lái)優(yōu)化對(duì)抗噪聲。

實(shí)驗(yàn)結(jié)果如圖 7 和圖 8 所示，我們的算法可以輕松欺騙該人臉比對(duì)系統(tǒng)；在同樣查詢次數(shù)下，我們算法得到的噪聲圖像，比對(duì)比方法得到的噪聲圖像，更加接近于目標(biāo)圖像，即噪聲水平更小。

▲?圖7.（左）參考圖像與正常目標(biāo)圖像的相似度為38%；（右）參考圖像與對(duì)抗圖像（我們的算法經(jīng)過(guò)10000次查詢所得）的相似度為89%（注意，在攻擊過(guò)程中，相似度為90%，但是保存對(duì)抗圖像后會(huì)有微小的精度損失）。

▲?圖8. 對(duì)人臉識(shí)別API進(jìn)行黑盒攻擊的不同方法對(duì)比效果。上述結(jié)果都是經(jīng)過(guò)10000次查詢得到的。

總結(jié)與思考

本工作的意義，不僅僅在于第一次成功地以完全黑盒地方式實(shí)現(xiàn)了對(duì)人臉識(shí)別系統(tǒng)的攻擊，更是為當(dāng)前十分火熱的人臉識(shí)別敲響了警鐘。考慮到人臉識(shí)別系統(tǒng)的廣泛應(yīng)用場(chǎng)景，比如門禁，海關(guān)，支付等，我們應(yīng)該對(duì)人臉識(shí)別系統(tǒng)的安全漏洞更加重視。我們不僅要盡可能多地探測(cè)人臉識(shí)別系統(tǒng)的漏洞，更要及時(shí)找到彌補(bǔ)漏洞的方案，不斷提高人臉識(shí)別系統(tǒng)的安全性，使得人臉識(shí)別的應(yīng)用更加安全可靠。

參考文獻(xiàn)

[1] J. Deng, J. Guo, N. Xue, and S. Zafeiriou. "Arcface: Additive angular margin loss for deep face recognition." In CVPR, 2019.?

[2] K. He, X. Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition. In CVPR, 2016.?

[3] Goodfellow, I. J., Shlens, J., & Szegedy, C. (2014). Explaining and harnessing adversarial examples. arXiv preprint arXiv:1412.6572.?

[4] Madry, A., Makelov, A., Schmidt, L., Tsipras, D., & Vladu, A. (2017). Towards deep learning models resistant to adversarial attacks. arXiv preprint arXiv:1706.06083.?

[5] Carlini, N., & Wagner, D. (2017, May). Towards evaluating the robustness of neural networks. In 2017 IEEE Symposium on Security and Privacy (SP) (pp. 39-57).?

[6] C. Igel, T. Suttorp, and N. Hansen. A computational efficient covariance matrix update and a (1+ 1)-cma for evolution strategies. In Proceedings of the 8th annual conference on Genetic and evolutionary computation, pages 453–460. ACM, 2006.?

[7] G. B. Huang, M. Mattar, T. Berg, and E. Learned-Miller. Labeled faces in the wild: A database for studying face recognition in unconstrained environments. In Workshop on faces in ’Real-Life’ Images: detection, alignment, and recognition, 2008.?

[8] W. Brendel, J. Rauber, and M. Bethge. Decision-based adversarial attacks: Reliable attacks against black-box machine learning models. In ICLR, 2018?

[9] M. Cheng, T. Le, P.-Y. Chen, J. Yi, H. Zhang, and C.-J. Hsieh. Query-efficient hard-label black-box attack: An optimization-based approach. arXiv preprint arXiv:1807.04457, 2018?

[10] Ilyas, A., Engstrom, L., Athalye, A. and Lin, J., 2018. Black-box adversarial attacks with limited queries and information. In ICML, 2018?

[11] W. Liu, Y. Wen, Z. Yu, M. Li, B. Raj, and L. Song. Sphereface: Deep hypersphere embedding for face recognition. In CVPR, 2017?

[12] H. Wang, Y. Wang, Z. Zhou, X. Ji, Z. Li, D. Gong, J. Zhou, andW. Liu. Cosface: Large margin cosine loss for deep face recognition. In CVPR, 2018

點(diǎn)擊以下標(biāo)題查看更多往期內(nèi)容：?

• ICCV 2019 | 沉迷AI換臉？不如來(lái)試試“AI換衣”
  

• ICCV 2019?| 單幅圖像下實(shí)現(xiàn)任意尺度自然變換
  

• ICCV 2019?| 打造炫酷動(dòng)態(tài)的藝術(shù)字
  

• ICCV 2019 | 基于關(guān)聯(lián)語(yǔ)義注意力模型的圖像修復(fù)
  

• ICCV 2019 | 基于元學(xué)習(xí)和AutoML的模型壓縮
  

• ICCV 2019?| 適用于視頻分割的全新Attention機(jī)制

#投 稿 通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

???? 投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

▽ 點(diǎn)擊 |?閱讀原文?| 下載論文

總結(jié)

以上是生活随笔為你收集整理的CVPR 2019 | 针对人脸识别系统的高效黑盒对抗攻击算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。