?PaperWeekly 原創(chuàng) ·?作者｜燕皖

單位｜淵亭科技

研究方向｜計(jì)算機(jī)視覺、CNN

活體檢測在人臉識(shí)別中的重要環(huán)節(jié)。以前的大多數(shù)方法都將面部防欺騙人臉活體檢測作為監(jiān)督學(xué)習(xí)問題來檢測各種預(yù)定義的演示攻擊，這種方法需要大規(guī)模的訓(xùn)練數(shù)據(jù)才能涵蓋盡可能多的攻擊。

但是，訓(xùn)練好的模型很容易過度擬合幾種常見的攻擊，仍然容易受到看不見的攻擊。為了克服這些問題，活體檢測算法應(yīng)該：1）學(xué)習(xí) discriminative features，可以從預(yù)定義的攻擊樣本中泛化出沒有見到的攻擊樣本；2）快速適應(yīng)新的攻擊類型。

本文總結(jié)了在靜默活體檢測領(lǐng)域中提出的最新方法，并將它們分為六大類。如下，并對每一類中經(jīng)典的算法進(jìn)行了介紹。當(dāng)然，除了靜默活體檢測，還有炫光、動(dòng)作等，其他方法不再本文的討論范圍。

• Auxiliary supervision?

• • rPPG?

  • Depth?

  • Temporal?

  • fft?

• De-spoofing?

• Domain Generalization?

• Meta learning?

• NAS

Auxiliary supervision

僅僅使用 binary classification 監(jiān)督不夠合理，因?yàn)橐膊荒苷f明模型是否學(xué)習(xí)到真正的活體與攻擊之間差異。因此，出現(xiàn)了 rPPG、Depth、Temporal、fft 等等監(jiān)督。

論文標(biāo)題：Learning Deep Models for Face Anti-Spoofing Binary or Auxiliary Supervision

論文來源：CVPR 2018

論文鏈接：https://arxiv.org/abs/1803.11097

本文探討了輔助監(jiān)督（auxiliary supervision）的重要性。這些輔助信息是基于我們關(guān)于真實(shí)人臉和欺詐面部之間關(guān)鍵差異的知識(shí)獲得的，其中包括兩個(gè)視角：空間和時(shí)間。其中空間就是圖像的深度（face-depth），而時(shí)間就是使用時(shí)序 rPPG 信號(hào)作為輔助監(jiān)督。

本文的三個(gè)主要貢獻(xiàn)：

建議利用新穎的輔助信息（即深度圖和 rPPG）來監(jiān)督 CNN 學(xué)習(xí)以改進(jìn)泛化。

提出了一種新穎的 CNN-RNN 架構(gòu)，用于端到端學(xué)習(xí)深度圖和 rPPG 信號(hào)。

發(fā)布了一個(gè)新的數(shù)據(jù)庫：Spoof in the Wild Database（SiW）。

What is rPPG?

簡單說就是發(fā)射光強(qiáng)度不一樣。當(dāng)一定波長的光束照射到指端皮膚表面時(shí)，光束將通過透射或反射方式傳送到光電接收器，在此過程中由于受到指端皮膚肌肉和血液的吸收衰減作用，檢測器檢測到的光強(qiáng)度將減弱。

如下圖所示，如果是 live face，會(huì)有部分周圍光穿過皮層到達(dá)血管，然后反射出來，故相機(jī)是能從人體皮膚檢測到心跳；而對于 spoof face，由于材料不同，吸收及反射到相機(jī)的信息就很不同。

論文標(biāo)題：Exploiting temporal and depth information for multi-frame face anti-spoofing

論文來源：CVPR 2018

論文鏈接：https://arxiv.org/abs/1811.05118

以往關(guān)于活體的深度學(xué)習(xí)研究都提取了單幀的深度信息作為輔助監(jiān)督。不同于這些方法，這篇文章提出了一種通過結(jié)合時(shí)序運(yùn)動(dòng)和單幀面部深度的時(shí)序深度度信息。具體的，光流引導(dǎo)特征模塊（OFFB）和時(shí)序卷積單元（ConvGRU）分別用于提取短時(shí)和長時(shí)運(yùn)動(dòng)信息。

如圖所示，輸入是固定間隔內(nèi)的連續(xù)幀。單幀框架部是為了提取不同層次的特征，輸出單幀估計(jì)的面部深度。OFFB 使用連續(xù)兩幀作為輸入，計(jì)算短期運(yùn)動(dòng)特征。然后將最終的 OFFB 特性輸入 ConvGRUs 以獲得長期運(yùn)動(dòng)信息，輸出單幀面部深度的殘差。最后，整個(gè)網(wǎng)絡(luò)由估計(jì)多幀深度的深度損失和二元損失進(jìn)行監(jiān)督。

論文標(biāo)題：Deep Spatial Gradient and Temporal Depth Learning for Face Anti-spoofing

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/2003.08061

代碼鏈接：https://github.com/clks-wzz/FAS-SGTD

本文提出了一種新的深度監(jiān)督體系結(jié)構(gòu)，利用殘差空間梯度塊（RSGB）捕獲區(qū)分性細(xì)節(jié)，并通過時(shí)空傳播模塊（STPM）從單目幀序列有效地編碼時(shí)空信息。具體細(xì)節(jié)參考原文。

此外，本文還提出對比深度損失（CDL）。Euclidean Distance Loss（EDL）只是協(xié)助網(wǎng)絡(luò)學(xué)習(xí)攝像機(jī)上的物體，只是對像素的逐一進(jìn)行深度判斷監(jiān)督，而忽略相鄰像素之間的深度差異。

然而，物體的深度關(guān)系也很重要。因此，對比深度損失（CDL）以提供額外的強(qiáng)有力的監(jiān)督。如下圖，CDL 共有 8 個(gè)對比卷積核，其中紫色、黃色和白色片段分別表示 1、-1 和 0。

De-spoofing

論文標(biāo)題：Face De-Spoofing Anti-Spoofing via Noise Modeling

論文來源：ECCV 2018

論文鏈接：https://arxiv.org/abs/1807.09968

代碼鏈接：https://github.com/yaojieliu/ECCV2018-FaceDeSpoofing

本文把欺詐檢測問題定義為了新問題，將一張欺詐圖片分為兩部分，一部分是真圖片，一部分是欺詐噪聲，所以原問題就轉(zhuǎn)化為了 de-X 問題。因?yàn)檫@個(gè)方向比較小眾，就不做詳細(xì)的介紹了。

Domain Generalization

一般的，在深度學(xué)習(xí)算法中, 通常假設(shè)訓(xùn)練樣本和測試樣本來自同一概率分布, 然后設(shè)計(jì)相應(yīng)的模型和判別準(zhǔn)則對待測試的樣例的輸出進(jìn)行預(yù)測。

但是實(shí)際上當(dāng)前很多學(xué)習(xí)場景下訓(xùn)練樣本的概率分布和測試樣本的概率分布是不同的，而活體檢測也正是如此，由于目標(biāo)域和源域是具有不同的概率分布的，如果在訓(xùn)練過程中我們無法獲得目標(biāo)域的任何信息就代表著訓(xùn)練出的分類器可能無法在目標(biāo)域上取得良好的表現(xiàn)。

而且在現(xiàn)實(shí)應(yīng)用中，目標(biāo)域往往出現(xiàn)一些不可知的 case，在這種背景下，domain generalization 應(yīng)運(yùn)而生。

論文標(biāo)題：Multi-adversarial Discriminative Deep Domain Generalization for Face Presentation Attack Detection

論文來源：CVPR 2019

論文鏈接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Shao_Multi-Adversarial_Discriminative_Deep_Domain_Generalization_for_Face_Presentation_Attack_Detection_CVPR_2019_paper.pdf

代碼鏈接：https://github.com/rshaojimmy/CVPR2019-MADDoG

本文重點(diǎn)研究如何提高人臉反欺騙方法的泛化能力。主要流程如下：

1. Multi-adversarial：先在不同 domain 數(shù)據(jù)集下訓(xùn)練得到各自 domain 的模型，然后通過各個(gè) domain 訓(xùn)練好網(wǎng)絡(luò)來提特征，用于訓(xùn)練特征生成器和 domain 的判別器，直到生成器輸出的特征能成功騙過各個(gè) domian 的判別器，就算學(xué)到了 generalized feature space 的表達(dá)了。

2. Dual-force Triplet Mining：除了同一個(gè) domain 下的 triplet loss，還設(shè)計(jì)了 domain 間的 triplet loss，即對于每個(gè) subject 希望其 cross-domain 的 postive 距離要小于 cross-domian 的 negative

3. Auxiliary Face Depth：還增加了預(yù)測 depth 的 task，以增強(qiáng)可判別性。

論文標(biāo)題：Deep Transfer Across Domains for Face Anti-spoofing

論文鏈接：https://arxiv.org/abs/1901.05633

文中指出目前方法通用性差的主要原因是欺騙設(shè)備中材料的多樣性，新環(huán)境的背景/光照條件會(huì)使真實(shí)人臉和欺騙攻擊有所不同、以及有限的數(shù)據(jù)集。在本文中提出了一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，利用目標(biāo)域中的稀疏標(biāo)記數(shù)據(jù)來學(xué)習(xí)跨域不變的特征，從而實(shí)現(xiàn)人臉反欺騙。

如上圖所示，其中每個(gè) batch 包含一半源圖像和一半目標(biāo)圖像，最后一個(gè)池層輸出的兩個(gè)域的特征用于計(jì)算分布距離，計(jì)算使用 kernel based MMD，最后的損失函數(shù)是分類損失和 domain 損失組成組成。

Meta learning

當(dāng)遇到新的應(yīng)用場景，面對中訓(xùn)練樣本分布外的攻擊類型時(shí)，數(shù)據(jù)驅(qū)動(dòng)的模型往往會(huì)產(chǎn)生不可預(yù)測的結(jié)果。如果要調(diào)整活體檢測模型以適應(yīng)新的攻擊，就需要收集足夠的樣本進(jìn)行訓(xùn)練，然而收集有標(biāo)簽的數(shù)據(jù)的成本是昂貴的。因此，對于 anti spoofing 這類問題，data-driven 這條路很被動(dòng)，而且很難看到頭。

論文標(biāo)題：Regularized Fine-grained Meta Face Anti-spoofing

論文來源：AAAI 2020

論文鏈接：https://arxiv.org/abs/1911.10771

代碼鏈接：https://github.com/rshaojimmy/AAAI2020-RFMetaFAS

如果我們將現(xiàn)有的元學(xué)習(xí)算法直接應(yīng)用于人臉反欺騙任務(wù)，會(huì)由于以下兩個(gè)問題而降低性能：

1. 人臉反欺騙模型僅具有二進(jìn)制類監(jiān)督，會(huì)出現(xiàn)泛化效果差。如下圖（a）所示，如果僅在二元類別標(biāo)簽的監(jiān)督下，將常見的元學(xué)習(xí)算法應(yīng)用于面部反欺騙，則 meta train 和 meta test 的學(xué)習(xí)方向?qū)⑹怯衅姷?#xff0c;這使得 meta learning 難以訓(xùn)練并最終找到廣義的學(xué)習(xí)方向。

2. 對于 domain generalization 方法的 meta learning，其在每次元學(xué)習(xí)迭代中將多個(gè)源域粗略地劃分為兩組 meta train 和 meta test。因此，在每次迭代中僅模擬了單個(gè) domain shift，這對于人臉反欺騙任務(wù)是效果較差的。

為了解決上述兩個(gè)問題，如下圖所示，本文提出了一種新穎的正則化細(xì)粒度元學(xué)習(xí)框架。

對于第一個(gè)問題，與二元類別標(biāo)簽相比，特定于面部反欺騙任務(wù)的領(lǐng)域知識(shí)可以提供更通用的區(qū)分信息。因此，將人臉反欺騙領(lǐng)域知識(shí)作為正則化方法納入特征學(xué)習(xí)過程中，這樣，這種正則化元學(xué)習(xí)可以針對臉部反欺騙任務(wù)，在元訓(xùn)練和元測試中專注于更協(xié)調(diào)，更通用的學(xué)習(xí)方向。

對于第二個(gè)問題，提出的框架采用了如上圖（b）所示的細(xì)粒度學(xué)習(xí)策略。該策略將源域劃分為多個(gè)元訓(xùn)練域和元測試域，并在每次迭代中在它們之間的每對之間共同進(jìn)行元學(xué)習(xí)。這樣，可以同時(shí)模擬多 domain shift，因此可以在元學(xué)習(xí)中利用更豐富的域移位信息來訓(xùn)練廣義的面部反欺騙模型。

這篇文章的網(wǎng)絡(luò)由特征抽取器、元學(xué)習(xí)器和深度估計(jì)器組成。在 Meta-Train 過程中，我們從 N 個(gè)訓(xùn)練集中隨機(jī)選擇 N-1 個(gè)，使用 binary loss 進(jìn)行訓(xùn)練，使用了深度監(jiān)督加強(qiáng)對模型的監(jiān)督。剩余的一個(gè)訓(xùn)練集用于 Meta-Test，Meta-Optimization 過程就是對上述 meta-train and meta-test 中的 model 進(jìn)行更新。

論文標(biāo)題：Learning Meta Model for Zero-Shot and Few-shot Face Anti-spoofing

論文來源：AAAI 2020

論文鏈接：https://arxiv.org/abs/1904.12490

這篇文章將 FAS 做為一個(gè) Zero-shot 和 Few-shot 的學(xué)習(xí)問題。本文的主要貢獻(xiàn)有：

1. 首先將 FAS 定義為一個(gè) zero- and few-shot 的問題。

2. 為了解決 zero- and few-shot FAS 問題，提出一種新的基于元學(xué)習(xí)的方法：自適應(yīng)內(nèi)更新元面孔反欺騙（AIM-FAS）

3. 我們提出了三個(gè)新穎的 zero- and few-shot FAS 基準(zhǔn)點(diǎn)，以驗(yàn)證 AIM-FAS 的有效性。

4. 進(jìn)行了全面的實(shí)驗(yàn)，以表明 AIM-FAS 在零和幾乎沒有反欺騙基準(zhǔn)。

Zero-shot learning 旨在學(xué)習(xí)一般的區(qū)別特征，這些特征對可以從已知的假臉中檢測未知的新假臉。Few-shot learning 旨在快速適應(yīng)反欺騙模式，通過學(xué)習(xí)預(yù)先定義的假臉和收集到的少量新攻擊的樣本。

具體來說，在 zero- or few-shot FAS 任務(wù)，meta-learner 的一次訓(xùn)練迭代包括兩個(gè)階段。元學(xué)習(xí)者使用 supper set 更新其權(quán)重，然后在 query set 上測試更新后的元學(xué)習(xí)者，得到元學(xué)習(xí)者的學(xué)習(xí)成績和損失。最后，我們用元學(xué)習(xí)優(yōu)化元學(xué)習(xí)者損失。

NAS

論文標(biāo)題：Searching Central Difference Convolutional Networks for Face Anti-Spoofifing

論文來源：CVPR 2020

論文鏈接：https://arxiv.org/abs/2003.04092

首先，這篇文章提出了一部新穎的卷積算子——Central Difference Convolution（CDC，中心差分）卷積，其擅長描述細(xì)粒度信息。如下圖所示，CDC 更可能提取 intrinsic spoofing patterns（例如，偽影）。

Vanilla Convolution 可以表示為：

Central Difference Convolution 表示為：

其實(shí)，使用了 NAS 方法搜索出了 CDCN++，以及設(shè)計(jì)了多尺度注意融合模塊（MAFM），以有效地聚集了多層次 CDC 特征。

如下所示，搜索空間包括了各種參數(shù)形式的 CDC，skip-connet 和 none，采用的是 Differentiable NAS 方法，也就是一個(gè)“雙層”優(yōu)化的問題。

其中， 是 alpha 架構(gòu)的參數(shù)，w 是 alpha對應(yīng)的模型權(quán)重。alpha 利用 validation data 來進(jìn)行更新，w 利用 training data 來進(jìn)行更新。

在一個(gè)特定的 CDC 搜索空間內(nèi)，利用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索（NAS）來發(fā)現(xiàn)用于深度監(jiān)督人臉防欺騙任務(wù)的框架級(jí)網(wǎng)絡(luò)。

總結(jié)與展望

大多數(shù)研究都將活體檢測作為一個(gè)有監(jiān)督的學(xué)習(xí)問題，這樣就需要大規(guī)模的訓(xùn)練數(shù)據(jù)來覆蓋盡可能多的攻擊，然而訓(xùn)練后的模型很容易出現(xiàn)對幾種常見的攻擊過度擬合，所以，靜默活體檢測的方法仍有待解決模型的泛化性不足的問題。同時(shí)，在研究先進(jìn)的人臉反欺騙算法的過程中，新的類型的欺騙攻擊也被創(chuàng)造出來，并對所有現(xiàn)有算法的造成威脅。

從人類學(xué)習(xí)識(shí)別物體的過程來看，人類認(rèn)識(shí)新的物體并不需要很多的樣本作為支撐。這就從某些角度說明，相比機(jī)器學(xué)習(xí)模型，人類在學(xué)習(xí)一個(gè)新任務(wù)的時(shí)候，學(xué)會(huì)的不僅僅是先驗(yàn)知識(shí)，不妨認(rèn)為是學(xué)會(huì)了一個(gè)“如何去學(xué)習(xí)一個(gè)新知識(shí)"的方法。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來。

?????來稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請單獨(dú)在附件中發(fā)送?

? 請留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們在編輯發(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的人脸静默活体检测最新综述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。