Deep Learning Face Representation by Joint Identification-Verification

DeepID2

1、四個問題

要解決什么問題？

• 人臉識別。
• 主要挑戰是，設計一套方法能夠有效地減少類內差異，并增大類間差異。

用了什么方法解決？

• 使用face identification（人臉分類）和face verification（人臉驗證）信號進行監督學習。訓練了一個CNN用于次任務。

效果如何？

• 老論文了，就看個思路。
• 最后在LFW上達到了99.15%的人臉驗證準確率。

還存在什么問題？

• 由于是較早的論文，網絡結構設計以及訓練上有一定局限性。

2、論文概述

2.1、網絡結構

• 網絡結構很簡單，類似于LeNet。卷積層+池化層組合，經過四層后，將卷積層展開為全連接層，用來輸出特征向量。

2.2、Identification和verification

• 首先是人臉分類（face identification）信號，主要用于將人臉劃分為$n$個類（人）。
• 人臉分類需要在上面的網絡之后加上一個有$n$個輸出的softmax層，用來輸出預測的每個類的概率值。
• 公式如下：

• 然后是人臉驗證（face verification）信號，提取得到的特征向量對于類內來說距離更小，對于類間來說距離更大。
• 直接把上面網絡的輸出作為特征向量，使用L1/L2范數計算特征之差，使用L2范數作損失函數的效果會更好。實質上，使用L2范數衡量的是特征向量之間的歐式距離。
• 公式如下：

• 關于公式的幾個看法：
  • $y_{ij}=1$意味著樣本是同類，這時我們需要讓同類之間的特征向量差值盡可能小，所以就最小化兩個特征向量的L2范數。
  • $y_{ij}=?1$意味著是不同類，這時候我們想讓不同類之間的特征向量的距離比同類之間的特征向量的距離大，但不能是無窮大，所以又加入了一個常數$m$，防止讓歐式距離趨近于無窮大。考慮到人臉任務中，兩張臉有些地方是會有一定的相似性，但并意味著我們完全不需要此類信息，比如：這兩個人臉的鼻子都很大，并不意味著就可以丟掉鼻子大小這個信息，也許有的人鼻子大小差異又會比較大。
• 如果考慮的是余弦相似度函數，公式如下圖所示：

• 公式說明：
  • $d=\frac{f_i?f_j}{\frac{1}{2}(y_{ij}?\delta (wd+b))}$是特征向量之間的余弦相似度。
  • $\delta$是sigmoid函數。
  • $y_{ij}$是label。

2.3、訓練流程

2.4、算法流程

使用SDM算法抽取人臉上的21個標記，然后根據得到的標記對人臉進行對齊。通過變化位置、尺度、顏色通道，得到200個face patch，對每個face patch，使用該patch及其水平反轉的圖像進行特征學習。所以，一共需要200個深度卷積神經網絡。

作者將論文中的深度卷積神經網絡框架稱為DeepID2。接著，作者使用200個DeepID2來學習上一步得到的patch，每個DeepID2都會將輸入圖像轉換成一個160維的特征向量。

對每張圖像而言，經過200個DeepID2學習到的特征數目為200*160，特征數目太大了。所以論文中使用前向后向貪心算法來選取一些有效且互補的DeepID2向量，以節約時間。注意，特征選擇在每個DeepID2向量間進行，也就是一個DeepID2輸出的向量，要么全被選中，要么全不被選中。

選中25個向量后，每張圖像的維度是25*160=4000維。仍然太大，因而使用PCA進行降維，降維后大約有180維。

最后使用聯合貝葉斯模型用來進行人臉驗證。

3、參考資料

https://blog.csdn.net/tsb831211/article/details/52760766

https://blog.csdn.net/stdcoutzyx/article/details/41497545

總結

以上是生活随笔為你收集整理的论文笔记：DeepID2的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。