1 摘要

?現有的人臉識別系統的對抗樣本缺乏針對黑盒模型攻擊的可移植性，無法在實踐中高效的攻擊成功。該論文提出了一種統一的對抗人臉識別系統的方法——Adv-Makeup，該方法能夠在黑盒環境下實現可感知和可轉移的攻擊,該方法使用混合模塊在面部眼眶區域合成不易察覺的眼影。為了實現可移植性，Adv-Make實現了一種細粒度的元學習對抗攻擊策略，以從各種模型中學習更多的一般攻擊特征。與現有技術相比，Adv-Make能夠在數字和物理場景下產生更多不易察覺的攻擊，甚至可以攻擊商業系統。

2 貢獻

?該論文的貢獻可以總結為如下四條：

• 該論文提出的黑盒攻擊方法Adv-Make可以在數字和物理場景下實現對人臉識別模型進行不可察覺和可遷移的攻擊。
• 為了增強黑盒對抗攻擊的不可感知性，作者引入了makeup生成模塊，可以在眼眶區域添加自然眼影。
• 作者提出了一種化妝混合策略，以確保原圖像和生成圖像之間的風格和內容的具有一致性，從而進一步提高合成人臉的逼真度。
• 作者提出了一種任務驅動的細粒度元學習對抗攻擊策略，以保證生成的組合的攻擊能力，特別是提高了對抗樣本在黑盒受害者模型上的可遷移性。

3 模型方法

? Adv-Makeup框架包括三個組成部分如下圖所示，即Makeup生成模塊、Makeup混合模塊和Makeup攻擊模塊。以沒有化妝源面部圖像和隨機帶有化妝品的人臉為輸入，Makeup生成模塊可以合成出具有逼真眼影的人臉。Makeup混合模塊是為了進一步提高生成的對抗樣本在視覺上不可區分的質量。Makeup攻擊模型引入細粒度的元學習方法，使得生成的人臉具有對抗能力，進一步提高了黑盒條件下攻擊的可遷移性。

3.1 Makeup生成模塊

?給定源圖像${\mathbf{I}}_s\in {\mathbf{D}}_s$和化妝圖像${\mathbf{I}}_m\in {\mathbf{D}}_m$，使用人臉對齊方法去生成不同人臉的圍繞雙眼的Bounding-Box分別為${\mathbf{O}}_s$和${\mathbf{O}}_m$。將${\mathbf{O}}_s$作為生成器$G$的輸入，并生成人臉眼影${\hat{\mathbf{O}}}_s=G({\mathbf{O}}_s)$。接下計算區域${\mathbf{O}}_s\odot (1?\mathbf{M})+{\hat{\mathbf{O}}}_s\odot \mathbf{M}$，將該區域添加到源面部圖像${\mathbf{I}}_s$中得到合成的人臉圖像${\hat{\mathbf{I}}}_s$。為了提高生成的質量，作者引入了一個判別器去鼓勵生成器生成的圖像更加真實逼真。相應的生成器的損失函數和判別器的損失函數如下所示：$${\mathcal{L}}_{gen}={\mathbb{E}}_{{\mathbf{O}}_s}[\log (1?D(G({\mathbf{O}}_s))]$$$${\mathcal{L}}_{dis}=?[{\mathbb{E}}_{{\mathbf{O}}_m}[\log (D({\mathbf{O}}_m))]+{\mathbb{E}}_{{\mathbf{O}}_s}[\log (1?D(G({\mathbf{O}}_s))]]$$

3.2 Makeup混合模塊

? 為了消除邊界處明顯的偽影和眼影塊導致的風格，作者提出了一種Makeup混合模塊來實現不易察覺性的生成。作者利用梯度約束目的是將損失函數轉化為一個可微函數，以減輕生成邊界上的變化。通過最小化損失函數，生成的面的圖像細節能夠被保留，同時改變顏色以匹配原始圖像。梯度約束損失${\mathcal{L}}_{grad}$定義為:$${\mathcal{L}}_{grad}=\Vert [?{\mathbf{I}}_s\odot (1?{\mathbf{M}}^{?})+?h({\hat{\mathbf{O}}}_{\mathbf{s}})\odot {\mathbf{M}}^{?}]??{\hat{\mathbf{I}}}_s{\Vert }_2^2$$其中${\mathbf{M}}^{?}$表示的是由$\mathbf{M}$擴展與原圖像${\mathbf{I}}_s$尺寸相同的$0?1$掩模。為了增強風格和內容的整合，以更好地提高合成眼影的自然度，作者利用預先訓練的VGG16模型來計算風格損失${\mathcal{L}}_{style}$和內容損失${\mathcal{L}}_{cont}$，其損失函數為
$${\mathcal{L}}_{cont}=\sum _{p=1}^P\frac{{\alpha }_p}{2N_p{M}_p}\sum _{j=1}^{N_p}\sum _{k=1}^{M_p}[(A_p[{\hat{\mathbf{I}}}_{\mathbf{s}}]?A_p[{\mathbf{I}}_s])\odot {\mathbf{M}}^{?}{]}_{jk}^2$$$${\mathcal{L}}_{style}=\sum _{p=1}^P\frac{{\beta }_p}{2N_p^2}\sum _{j=1}^{N_p}\sum _{k=1}^{N_p}(B_p[{\hat{\mathbf{I}}}_{\mathbf{s}}]?B_p[{\mathbf{I}}_s]{)}_{jk}^2$$其中$P$為卷積神經網絡的層數，$N_p$是激活的通道數，$M_p$是每個通道中激活值的數量。$A_p[?]\in {\mathbb{R}}^{N_p\times M_p}$是第$p$層神經網絡的激活矩陣。$B_p[?]=A_p[?]A_p[?{]}^{?}\in {\mathbb{R}}^{N_p\times M_p}$是一個特征提取的Gram矩陣。

3.3 Makeup攻擊模塊

?為了使生成的Makeup具有對抗性，作者引入了一個針對人臉識別模型的攻擊損失函數，并利用預先訓練的人臉特征提取器。模擬攻擊的損失可以表示為$$\mathcal{T}=1?\cos [F({\mathbf{I}}_t),F({\hat{\mathbf{I}}}_s)]$$其中${\mathbf{I}}_t\in D_t$表示的是目標圖像。該損失函數目的是使得對抗樣本與目標圖像相近。作者提出了細粒度的元學習對抗攻擊來提高黑盒的可遷移性。假定有$L$個預訓練人臉識別模型即$\mathcal{F}=F_1,F_2,?,F_L$，然后選擇$L?1$模型作為元訓練模型$$T_{tr}^i({\theta }_G)=1?\cos [F_i({\mathbf{I}}_t),F_i(G({\mathbf{I}}_s))]$$其中$i\in \{1,?,L?1\}$，${\theta }_G$是生成器的參數，$G({\mathbf{I}}_s)$表示Makeup生成的眼影伴隨著Makeup混合生成的臉的圖像。${\mathcal{T}}_{tr}^i(\theta )$表示的是不同模型分享同一個生成器，并從$L?1$個模型中收集到的梯度信息作為先驗。當更新參數${\theta }_G$為了獲得$i_{th}$個副本則有$${{\theta }^{\prime }}_G^i\leftarrow {\theta }_G?{\alpha }_1{?}_{{\theta }_G}{\mathcal{T}}_{tr}^i({\theta }_G).$$另外一個人臉識別模型$F_L$作為測試模型則有$${\mathcal{T}}_{te}^i({{\theta }^{\prime }}_G^i)=1?\cos [F_L({\mathbf{I}}_t),F_L(G({\mathbf{I}}_s))]$$為了在兩個階段收集所有信息，作者提出了一個聯合優化策略。$$\begin{array}{rl}{\theta }_G^{\prime \prime }\leftarrow {\theta }_G& ?{\alpha }_1\sum _{i=1}^{L?1}{?}_{{\theta }_G}\left({\mathcal{T}}_{tr}^i\left({\theta }_G\right)+{\mathcal{T}}_{te}^i\left({\theta }_G^{\prime }\right)\right)\\ & ?{\alpha }_2?{\theta }_G{\mathcal{L}}_{gen}\left({\theta }_G\right)?{\beta }_1{?}_{{\theta }_G}{\mathcal{L}}_{grad}\left({\theta }_G\right)\\ & ?{\beta }_2{?}_{{\theta }_G}{\mathcal{L}}_{\text{cont?}}\left({\theta }_G\right)?{\beta }_3{?}_{{\theta }_G}{\mathcal{L}}_{\text{style?}}\left({\theta }_G\right)\end{array}$$

4 實驗結果

?為了證明所提出的Adv-Makeup在數字圖像上的有效性，作者設計了多模型攻擊實驗來展示性能的改進，超越了其他攻擊所應用的傳統集成對抗訓練。作者選擇了七種不同的攻擊方法進行比較，其中訓練和測試范式嚴格遵循原始設置。如下表所示，每一列代表可遷移測試的剩余黑盒受害者模型的ASR結果。與其他攻擊相比，Adv-Makeup在所有受害者模型上實現了最佳的可遷移結果，并顯著優于競爭對手。

?下圖展示了Adv-Makeup的人眼不可察覺性，由Adv-Makeup生成的六張對抗人臉圖像，每張臉圖像下面的兩個數字是由商業在線人臉識別系統給出的。對抗人臉和相應的匹配結果表明，該方法對光照、姿態、性別和眼妝強度等多種干擾因素具有魯棒性。
?下圖展示了Adv-Makeup生成的攻擊區域具有視覺上最難區分的外觀，而其他形式需要更大的攻擊區域，比較的量化結果再次凸顯了Adv-Makeup在可遷移黑盒攻擊中的優勢。

?如下圖所示，與當前的物理攻擊相比，Adv-Makeup的攻擊強度明顯高于其他攻擊，這表明本文提出的方法可以在實際應用中生成更好可遷移性的對抗樣本。

總結

以上是生活随笔為你收集整理的Adv-Makeup:一种新颖不易察觉且可迁移的人脸识别攻击方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。