单目RGB人脸识别
單目RGB人臉識別
一、簡介
??人臉識別在業內已經算是比較成熟的了，但是單目rgb活體，除了配合式的方法，其實是一個比較難的問題，這篇文章盡量總結開源的人臉檢測、人臉識別、單目rgb活體的多種算法，與君共勉。
二、人臉檢測算法
??如下是目前比較常用的人臉檢測算法的對比分析：
| MTCNN | 2016年 | 94.4%(fddb), 85.1%(wider_face,test,easy) | 人臉框+五個關鍵點 | 三層級聯方式預測 | https://arxiv.org/ftp/arxiv/papers/1604/1604.02878.pdf |
| FaceBoxes | 2017年 | 96.0%(fddb), 83.9%(wider_face,test,easy) | 人臉框 | 對小尺寸人臉檢測不佳，速度不受人臉數量影響 | https://arxiv.org/pdf/1708.05234.pdf |
| CenterFace | 2019年 | 98.0%(fddb), 93.2%(wider_face,test,easy) | 人臉框+五個關鍵點 | 相比其他算法，低性能cpu檢測速度急劇下降 | https://arxiv.org/ftp/arxiv/papers/1911/1911.03599.pdf |
| RetinaFace | 2019年 | 96.3%(wider_face,test,easy) | 人臉框+五個關鍵點 | 關鍵點預測作為輔助分支，引入自監督 | https://arxiv.org/pdf/1905.00641.pdf |
三、人臉識別算法
??如下是目前比較常用的人臉識別算法的對比分析：
| ArcFace | 2018年 | 99.83%(LFW) | 性能高，復雜性低，訓練效率高 | https://arxiv.org/pdf/1801.07698.pdf |
| MobileFaceNet | 2018年 | 99.28%(LFW) | 模型只有4M, 準確率高 | https://arxiv.org/ftp/arxiv/papers/1804/1804.07573.pdf |
四、單目RGB活體檢測算法
??單目RGB活體檢測包含兩種方案：基于RGB單幀活體檢測，基于RGB視頻/連續多幀活體檢測。
4.1 數據集
??活體檢測研究方向在最近幾年才火，且活體數據收集難度較大，導致很多數據集的數據單一，數據量較小，如下是已有的部分數據集：
??ECCV20|北交、商湯、港中文發布大型人臉反欺詐數據集CelebA-Spoof，好像還沒有完全開源，期待中。
??活體檢測性能評判指標：等錯誤率（EER），攻擊呈現分類錯誤率（APCER），善意呈現分類錯誤率（BPCER）和ACER =（APCER + BPCER）/ 2。 交叉測試評估：HTER。
4.2 Face Spoofing Detection Using Colour Texture Analysis（單幀RGB），2016
??Oulu CMVS的產物，算是傳統方法中的戰斗機。原理是活體與非活體，在RGB空間里比較難區分，但在其他顏色空間里的紋理有明顯差異，即使用HSV空間人臉多級LBP特征 + YCbCr空間人臉LPQ特征，進行多通道特征融合分析，最后使用SVM進行分類。
Replay-Attack, CASIA, MSU數據集上測試結果如下：
??由于數據集太小，測試結果并不能很好地反映實際算法性能。
論文地址：https://www.researchgate.net/profile/Jukka_Komulainen/publication/301571761_Face_Spoofing_Detection_Using_Colour_Texture_Analysis/links/5c028dfa92851c63cab31bda/Face-Spoofing-Detection-Using-Colour-Texture-Analysis.pdf
4.3 Face Anti-Spoofing: Model Matters, so Does Data（單幀視頻），2019
??騰訊AI發表在CVPR2019的工作：1）提出一個很容易操作的收集大量數據的方法，包含人工偽造攻擊樣本和在偽造的基礎上擴增；2）提出新模型，用時空+注意力機制來融合全局時域信息和局部空間信息，用于分析模型的可解釋行為；3）明顯提升了多個AS數據集的SOTA。
Oulu測試集上測試結果如下：
論文鏈接：https://openaccess.thecvf.com/content_CVPR_2019/papers/Yang_Face_Anti-Spoofing_Model_Matters_so_Does_Data_CVPR_2019_paper.pdf
4.4 CVPR2020單模態冠軍CeFA（單幀視頻）：Creating Artificial Modalities to Solve RGB Liveness
??在本文工作中，通過引入具有豐富特征的人工形態，如光流和等級池化等，將視頻序列分類問題簡化為圖像分類問題。并提出了一種序列擴增，將真實軌跡轉換為虛假軌跡，從而增加假樣本的數量。最后，使用一個非常簡單的融合神經網絡架構與淺骨干結合不同的模式在一起。
測試集CASIA-SURF CeFa上測試結果如下：
論文鏈接：https://arxiv.org/pdf/2006.16028v1.pdf
4.5 工業級開源活體（單幀RGB）：小視科技工業級靜默活體檢測算法
??小視科技團隊開源的基于 RGB 圖像的活體檢測模型，是專門面向工業落地場景，兼容各種復雜場景下的模型。該自研的剪枝輕量級模型，運算量為 0.081G，在麒麟 990 5G 芯片上僅需 9ms。同時基于 PyTorch 訓練的模型能夠靈活地轉化成 ONNX 格式，實現全平臺部署。
??作者訓練集為1500萬，且拍攝的數據有如下圖依賴，預測時使用多模型聯合的方式增大準確率，開源模型包含mobilenet, MiniFASNetV1, MiniFASNetV2。
算法框架如下：
自備測試集上測試結果如下：
小視科技的工業級活體檢測方案講解：https://www.bilibili.com/video/av371471482/
五、分析
5.1 人臉檢測算法+人臉識別算法分析
??上述提到的4種人臉檢測算法和2種識別算法，盡管在不同數據集的mAP上存在一定差距，但是由于豐巢柜機拍攝的照片的特點（人臉數目少，人臉尺寸較大），可以隨意選取其中一種人臉檢測算法和一種人臉識別算法進行組合完成人臉識別方案。如下是上述論文RetinaFace里面驗證的算法性能：
5.2 單目RGB活體檢測算法分析
??調研過程中的RGB單幀方案（4.4）對比視頻方案（4.3）如下：
| RGB單幀方案 | 單張實時拍攝的RGB圖片 | 多 | 上千萬（小視科技1500萬） | 速度快，最快9ms | 側重打印和屏幕攻擊 |
| RGB視頻/連續多幀方案 | 實時視頻的多幀 | 較少 | 大多是上萬個視頻 | 較慢，需要多幀人臉檢測 | 所有常見攻擊 |
??根據3D目標檢測方向的論文，曾經思考過單幀RGB圖像估計深度圖，結合估計深度圖和RGB圖像進行活體檢測的方案。但是通過調研發現，單幀RGB圖像估計深度圖太不準確，這也是單目3D目標檢測問題一直以來精度在10%左右的原因，具體調研報告鏈接：https://blog.csdn.net/confusingbird/article/details/109677674
六、總結
??源碼鏈接insightface：https://github.com/deepinsight/insightface
活體檢測數據集CASIA-Surf-CeFA下載見: https://blog.csdn.net/confusingbird/article/details/111250457
總結
