文章目錄

• 1 靜默活體檢測技術
• 2 靜默活體檢測特點：
• 3 相關應用原理
• • 3.1 基于PCA和SURF的活體檢測
  • 3.2 傅里葉頻譜圖輔助的RGB圖像活體檢測

1 靜默活體檢測技術

活體檢測技術主要判別機器前出現(xiàn)的人臉是真實的還是偽造的，其中借助其他媒介呈現(xiàn)的人臉都可以定義為虛假的人臉，包括打印的照片、顯示屏幕視頻、硅膠面具、立體的3D人像等。目前主流的活體檢測方案為配合式活體檢測和非配合式活體檢測（靜默活體檢測）等。配合式活體檢測需要用戶根據(jù)提示完成指定的動作，然后進行活體校驗，靜默活體檢測與動態(tài)活體檢測相反，主要在沒有眨眼、張嘴等一系列的動作配合下判斷到底是不是一個真活體，不僅在技術上實現(xiàn)難度更高，在實際應用中對準確性要求也更高，簡言之， 靜默活體檢測則在用戶無感的情況下直接進行活體校驗，具有更好的用戶體驗。

非配合式活體根據(jù)成像源的不同一般分為紅外圖像、3D 結構光和 RGB 圖像三種技術路線：紅外圖像濾除了特定波段的光線，天生抵御基于屏幕的假臉攻擊；3D 結構光引入了深度信息，能夠很容易地辨別紙質照片、屏幕等 2D 媒介的假臉攻擊；RGB 圖片主要通過屏幕拍攝出現(xiàn)的摩爾紋、紙質照片反光等一些細節(jié)信息進行判別。基于以上分析不難發(fā)現(xiàn)，基于 RGB 圖片的活體檢測與其他兩種方法相比，僅能通過圖像本身的信息進行判別，在實際的開放場景中面臨著更大的挑戰(zhàn)性。

2 靜默活體檢測特點：

• 1 速度快：無需動作指令配和，能夠在更短的時間內出結果。
• 2、自然性好：無論是在有意還是無意的情況喜喜啊，均不影響檢測結果，不同于其他識別可以有意識的后天模仿和改變。
• 3、簡單方便：識別速度快，操作簡單便捷。
• 4、非接觸性。

3 相關應用原理

3.1 基于PCA和SURF的活體檢測

基于傳統(tǒng)特征的世紀晟靜默活體檢測 。

（1）檢測系統(tǒng)實現(xiàn)原理：

傳統(tǒng)特征有LBP、SIFT、SURF、HOG等，這里我們使用了SURF，計算生成特征描述子，并利用PCA將這些特征描述子投影到主成分，然后利用GMM進行主成分編碼，得到一個長度為76800的特征碼，最后送入SVM二分類。

（2）基于PCA和SURF的活體檢測

基于傳統(tǒng)圖像處理特征算子的方法在實際應用和測試過程中，或多或少的都會受到光線、角度和距離等不可抗因素的影響，所以我們在算法實際設計過程中做了相關改進，如引入PCA主成分分析，以及加入LBP特征，實現(xiàn)雙重特征的重檢，以增加算法的魯棒性能。

3.2 傅里葉頻譜圖輔助的RGB圖像活體檢測

傅里葉頻譜圖在一定程度上能反應真假臉在頻域的差異，因此小視科技采用了一種基于傅里葉頻譜圖輔助監(jiān)督的靜默活體檢測方法，模型架構由分類主分支和傅里葉頻譜圖輔助監(jiān)督分支構成。
https://www.ctolib.com/minivision-ai-Silent-Face-Anti-Spoofing.html

小視科技團隊開源的基于 RGB 圖像的活體檢測模型，是專門面向工業(yè)落地場景，兼容各種復雜場景下的模型。該自研的剪枝輕量級模型，運算量為 0.081G，在麒麟 990 5G 芯片上僅需 9ms。同時基于 PyTorch 訓練的模型能夠靈活地轉化成 ONNX 格式，實現(xiàn)全平臺部署。

活體任務的定義

基于 RGB 圖像的活體檢測是一個分類任務，目標是有效地區(qū)分真臉和假臉，但又有別于其他類似于物品分類的任務。其中的關鍵點在于攻擊源分布過于廣泛，如圖 1 所示：不同的攻擊媒介，不同設備的成像質量，不同的輸入分辨率都對分類結果有著直接的影響。為了降低這些不確定因素帶來的影響，小視科技團隊對活體的輸入進行了一系列限制：活體的輸入限制在特定的分辨率區(qū)間；輸入圖片均為實時流中截取的視頻幀。這些操作大大降低了活體模型在實際生產部署上失控的風險，提升了模型的場景魯棒性。

基于成像介質種類的不同，小視科技團隊將樣本分為真臉、2D 成像（打印照片，電子屏幕）以及 3D 人臉模具三類，根據(jù)上述的準則整理和收集訓練數(shù)據(jù)。活體檢測的主要流程如圖 2 所示。

開源模型技術路線

小視科技團隊采用自研的剪枝輕量級網(wǎng)絡作為 backbone 訓練模型，使用 Softmax + CrossEntropy Loss 作為訓練分類的監(jiān)督。使用不同尺度的圖片作為網(wǎng)絡的輸入訓練數(shù)據(jù)，增加模型間的互補性，從而進行模型融合。考慮到用于真假臉判別的有效信息不一定完全分布在臉部區(qū)域，可能在取景畫面的任何地方（如邊框，摩爾紋等），小視科技團隊在 backbone 中加入了 SE（Squeeze-and-Excitation）的注意力模塊，動態(tài)適應分散的判別線索。同時小視科技團隊也通過實驗發(fā)現(xiàn)真假臉在頻域中存在明顯的差異，為此引入傅里葉頻譜圖作為模型訓練的輔助監(jiān)督，有效提升了模型精度。

自研的輕量級剪枝網(wǎng)絡

小視科技團隊使用自研的模型剪枝方法，將 MoboileFaceNet 的 flops 從 0.224G 降低到了 0.081G，剪枝的網(wǎng)絡結構如圖 3 所示。模型觀測誤檢率在十萬一對應的真臉通過率，在精度沒有明顯損失的情況下，模型前向運行的速度提升了 40%。

注意力機制

考慮到用于真假臉判別的有效信息不一定完全分布在臉部區(qū)域，也有可能在取景畫面的任何地方（如邊框，摩爾紋等）。小視科技團隊在 backbone 中加入了 SE（Squeeze-and-Excitation）的注意力模塊，動態(tài)適應分散的判別線索，熱力圖如圖 4 所示。對于假臉，模型更關注于邊框信息和屏幕的摩爾紋信息，對于真臉更加關注臉部以及周圍的信息。

數(shù)據(jù)預處理

使用人臉檢測器獲取圖像中的人臉框坐標，按照一定比例 (scale) 對人臉框進行擴邊，圖 5 展示了部分 patch 的區(qū)域，為了保證模型的輸入尺寸的一致性，將 patch 區(qū)域 resize 到固定尺寸。

傅里葉頻譜圖

將假臉照片與真臉照片轉化生成頻域圖，對比發(fā)現(xiàn)假臉的高頻信息分布比較單一，僅沿著水平和垂直方向延伸，而真臉的高頻信息從圖像的中心向外呈發(fā)散狀，如圖 6 所示。根據(jù)以上的實驗，小視科技團隊發(fā)現(xiàn)真臉和假臉的傅里葉頻譜存在差異，從而引入了傅里葉頻譜對模型訓練進行輔助監(jiān)督。

基于傅里葉頻譜圖的輔助網(wǎng)絡監(jiān)督

基于對于真臉和假臉在頻域的觀察分析，小視科技團隊提出了基于傅里葉頻譜圖進行輔助網(wǎng)絡監(jiān)督的訓練方法，整理架構圖如圖 7 所示。網(wǎng)絡的主分支采用 Softmax+ CrossEntropy 作為網(wǎng)絡的監(jiān)督，如公式（1）所示。其中， f_j表示輸出類別的第 j 個置信度， y_i 表示樣本的真實標簽，N 為訓練樣本的個數(shù)。

小視科技團隊采用在線的方式生成傅里葉頻譜圖，使用 L2 Loss 作為損失函數(shù)。輸入圖片的尺寸為 3x80x80，從主干網(wǎng)絡中提取尺寸為 128x10x10 特征圖，經(jīng)過 FTGenerator 分支生成 1x10x10 的預測頻譜圖 F_P 。通過傅里葉變換，將輸入圖片轉化成頻譜圖，再進行歸一化，最后 resize 成 1x10x10 尺寸得到 F_G ，使用 L2 Loss 計算兩特征圖之間差異，如公式（2）所示。

為了控制 L_FT在訓練過程中對梯度的貢獻作用，分別引入了α和β平衡兩個損失函數(shù)L_Softmax和L_FT，如公式（3）所示，其中α+β=1。在實驗中設置α=β=0.5。

其他模型策略

1 使用大體量網(wǎng)絡 ResNet34 蒸餾剪枝網(wǎng)絡 MiniFASNetV1 和 MiniFASNetV2，精度得到提升。

2 使用模型融合的機制，針對于不同輸入尺度、不同網(wǎng)絡結構以及不同迭代次數(shù)的模型進行融合，充分挖掘模型間對分類任務的互補性，提升模型精度。

實驗結果

測試集建立

小視科技團隊基于實際的生產場景建立了 100W 量級的測試集，從移動設備的視頻流中實時獲取圖像。真臉數(shù)據(jù)包含了強光、暗光、背光、弱光以及陰陽臉等各種復雜場景。基于 2D 的假臉數(shù)據(jù)使用打印紙、銅版紙、照片紙以及電腦屏幕、平板 Pad 屏幕、手機屏幕，在不同的距離、角度和光線下進行采集。基于 3D 的假臉數(shù)據(jù)則采用頭模、硅膠面具和紙質照片摳洞的人臉面具進行采集。

模型評價指標

小視科技團隊采用 ROC 曲線作為模型的觀測指標，控制十萬一的誤檢率，保證模型在 97%+ 的通過率。與一般的分類任務不同，團隊采用了 ROC 曲線而非分類精度作為度量指標，其原因是：生產落地場景對活體模型的誤檢控制具有很高的要求。

為了降低活體在應用場景發(fā)生誤檢的概率，小視科技團隊控制模型誤檢率在十萬一量級的同時，保證了較高的真臉通過率。團隊將活體定義為三分類任務，為了適應 ROC 曲線的評價指標，將真臉以外的類別都定義成假臉，從而解決了使用 ROC 曲線適應多分類的問題。

最終的開源融合模型，包含了兩個剪枝網(wǎng)絡的單模型，在測試集上的觀測指標如表 2 所示。開源模型誤檢控制在 1e-5 的情況下，真臉通過率能夠達到 97.8%。未開源的高精度模型在相同的誤檢率下，真臉通過率達到 99.5%。

速度指標

開源融合模型在不同芯片上速度指標如表 3 所示，在麒麟 990 5G 上僅需要 19ms。

此方法知識內容參考：https://mp.weixin.qq.com/s/01X6UyoPGwASTDWgC6X6qQ

總結

以上是生活随笔為你收集整理的静默活体检测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。