深度学习（十四）基于CNN的性别、年龄识别
CNN應用之性別、年齡識別
原文地址：http://blog.csdn.net/hjimce/article/details/49255013
作者：hjimce
一、相關理論
本篇博文主要講解2015年一篇paper《Age and Gender Classification using Convolutional Neural Networks》，個人感覺這篇文獻沒啥難度，只要懂得Alexnet，實現這篇文獻的算法，會比較容易。其實讀完這篇paper之后，我一直在想paper的創新點在哪里？因為我實在沒有看出paper的創新點在哪里，估計是自己水平太lower了，看文獻沒有抓到文獻的創新點。難道是因為利用CNN做年齡和性別分類的paper很少嗎？網上搜索了一下，性別預測，以前很多都是用SVM算法，用CNN搞性別分類就只搜索到這一篇文章。個人感覺利用CNN進行圖片分類已經不是什么新鮮事了，年齡、和性別預測，隨便搞個CNN網絡，然后開始訓練跑起來，也可以獲得不錯的精度。
性別分類自然而然是二分類問題，然而對于年齡怎么搞？年齡預測是回歸問題嗎？paper采用的方法是把年齡劃分為多個年齡段，每個年齡段相當于一個類別，這樣性別也就多分類問題了。所以我們不要覺得現在的一些APP，功能好像很牛逼，什么性別、年齡、衣服類型、是否佩戴眼鏡等識別問題，其實這種識別對于CNN來說，基本上是松松搞定的事，當然你如果要達到非常高的識別精度，是另外一回事了，就需要各種調參了。
言歸正傳，下面開始講解2015年paper《Age and Gender Classification using Convolutional Neural Networks》的網絡結構，這篇文章沒有什么新算法，只有調參，改變網絡層數、卷積核大小等……所以如果已經對Alexnet比較熟悉的，可能會覺得看起來沒啥意思，這篇papar的相關源碼和訓練數據，文獻作者有給我們提供，可以到Caffe zoo model：https://github.com/BVLC/caffe/wiki/Model-Zoo??或者文獻的主頁：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下載相關訓練好的模型，paper性別、年齡預測的應用場景比較復雜，都是一些非常糟糕的圖片，比較模糊的圖片等，所以如果我們想要直接利用paper訓練好的模型，用到我們自己的項目上，可能精度會比較低，后面我將會具體講一下利用paper的模型進行fine-tuning，以適應我們的應用，提高我們自己項目的識別精度。
二、算法實現
因為paper的主頁，有提供網絡結構的源碼，我將結合網絡結構文件進行講解。
1、 網絡結構
? ? ?
Paper所用的網絡包含：3個卷積層，還有2個全連接層。這個算是層數比較少的CNN網絡模型了，這樣可以避免過擬合。對于年齡的識別，paper僅僅有8個年齡段，相當于8分類模型；然后對于性別識別自然而然是二分類問題了。
然后圖像處理直接采用3通道彩色圖像進行處理，圖片6都統一縮放到256*256，然后再進行裁剪，為227*227（訓練過程隨機裁剪，驗證測試過程通過矩形的四個角+中心裁剪），也就是說網絡的輸入時227*227的3通道彩色圖像，總之基本上跟Alexnet一樣。
網絡模型：
(1)第一層：采用96個卷積核，每個卷積核參數個數為3*7*7，這個就相當于3個7*7大小的卷積核在每個通道進行卷積。激活函數采用ReLU，池化采用最大重疊池化，池化的size選擇3*3，strides選擇2。然后接著再來一個局部響應歸一化層。什么叫局部響應歸一化，自己可以查看一下文獻：《ImageNet?Classification?with?Deep?Convolutional?Neural?Networks》，局部響應歸一化可以提高網絡的泛化能力。
?
局部響應歸一化，這個分成兩種情況，一種是3D的歸一化，也就是特征圖之間對應像素點的一個歸一化。還有一種是2D歸一化，就是對特征圖的每個像素的局部做歸一化。局部響應歸一化其實這個可有可無，精度提高不了多少，如果你還不懂上面那個公式也沒有關系。我們可以利用最新的算法：Batch Normalize ，這個才牛逼呢，2015年，我覺得最牛逼的算法之一，不僅提高了訓練速度，連精度也提高了。過程：通過7*7大小的卷積核，對227*227圖片卷積，然后特征圖的個數為96個，每個特征圖都是三通道的,這個作者沒有講到卷積層的stride大小，不過我們大體可以推測出來，因為paper的網絡結構是模仿：ImageNet?Classification?with?Deep?Convolutional?Neural?Networks的網絡結構的，連輸入圖片的大小也是一樣的，這篇文獻的第一層如下所示：
?
我們可以推測出，paper選擇的卷積步長為4，這樣經過卷積后，然后pad為2，這樣經過卷積后圖片的大小為：(227-7)/4+1=56。然后經過3*3，且步長為2的大小，進行重疊池化，可以得到：56/2=28*28大小的圖片，具體邊界需要補齊。下面是原文的第一層結構示意圖：
?
[python]?view plaincopy
(2)第二層：第二層的輸入也就是96*28*28的單通道圖片，因為我們上一步已經把三通道合在一起進行卷積了。第二層結構，選擇256個濾波器，濾波器大小為5*5，卷積步長為1，這個也可以參考AlexNet的結構。池化也是選擇跟上面的一樣的參數。
?
[python]?view plaincopy
(3)第三層：濾波器個數選擇384，卷積核大小為3*3。
?
[python]?view plaincopy
(4)第四層：第一個全連接層，神經元個數選擇512。
[python]?view plaincopy
(5)第五層：第二個全連接層，神經元個數也是選擇 512 。
[python]?view plaincopy
(6)第六次：輸出層，對于性別來說是二分類，輸入神經元個數為2 。
?
[python]?view plaincopy
網絡方面，paper沒有什么創新點，模仿AlexNet結構。
2、網絡訓練
(1)初始化參數：權重初始化方法采用標準差為0.01，均值為0的高斯正太分布。
(2)網絡訓練：采用dropout，來限制過擬合。Drop?out比例采用0.5，還有就是數據擴充，數據擴充石通過輸入256*256的圖片，然后進行隨機裁剪，裁剪為227*227的圖片，當然裁剪要以face中心為基礎，進行裁剪。
(3)訓練方法采用，隨機梯度下降法，min-batch?大小選擇50，學習率大小0.001，然后當迭代到10000次以后，把學習率調為0.0001。
(4)結果預測：預測方法采用輸入一張256*256的圖片，然后進行裁剪5張圖片為227*227大小，其中四張圖片的裁剪方法分別采用以256*256的圖片的4個角為基點點，進行裁剪。然后最后一張，以人臉的中心為基點進行裁剪。然后對這5張圖片進行預測，最后對預測結果進行平均。
三、實際應用
文獻作者給我們提供，可以到Caffe zoo model：https://github.com/BVLC/caffe/wiki/Model-Zoo??或者文獻的主頁：http://www.openu.ac.il/home/hassner/projects/cnn_agegender/。下載相關訓練好的模型，paper性別、年齡預測的應用場景比較復雜，都是一些非常糟糕的圖片，比較模糊的圖片等，所以如果我們想要直接利用paper訓練好的模型，用到我們自己的項目上，可能精度會比較低。我測試了一下，直接使用paper給的模型，在我的數據上進行測試，我的數據是中國人、然后大部分是自拍照片，然后也比較清晰，直接用作者訓練好的模型，精度為0.82左右，這個精度對于我們實際的工程應用還差很遠。我們需要使用這個模型進行fine-tuning，以適用與我們的應用場景。提高我們自己項目的識別精度。
我直接利用作者訓練好的模型，進行測試，測試圖片為500張，性別分類精度在0.82左右，年齡的預測精度就更低了。于是我使用了caffe的fine-tuning功能，自己標注了1500張數據圖片，對文獻給的模型進行fine-tuning。最后預測結果如下：
測試精度：
測試數據為500張，精度差不多是0.96左右。如果繼續增加訓練數據，應該可以進一步提高精度。這里需要聲明的是，我這個性別應用項目的圖片基本都是自拍照，圖片也都是比較清晰的，因此精度這個東西，很多時候看應用場景，像paper的應用場景相當復雜，基本都是模糊圖片，那么精度就另當別論了。
總結：看完這篇文獻，感覺沒看到什么比較牛逼的創新點，只是把Alexnet網絡改一改而已，個人感覺AlexNet的一些算法已經過時了，如果利用了最新文獻的算法：PRELU、Batch Normalize肯定可以把精度進一步提高上去。年齡預測方面，因為自己的項目用不到，而且年齡預測這個東西，精度一向很低，很容易受光照、拍攝角度等因素影響，即便是我們人類，也很難精確判斷一個人的年齡，有的人五十幾歲了，但是看起來卻很年輕……
PS：趕緊研究深度學習算法去，現在大部分深度學習的文章，有的文獻只是稍微改一下參數、改一下結構，然后發現精度state-of-art，于是發表paper，很容易就被錄用了。
參考文獻：
1、《Age and Gender Classification using Convolutional Neural Networks》
2、《ImageNet?Classification?with?Deep?Convolutional?Neural?Networks》
3、http://www.openu.ac.il/home/hassner/projects/cnn_agegender/
４、https://github.com/BVLC/caffe/wiki/Model-Zoo?
**********************作者：hjimce ? 時間：2015.10.15 ?聯系QQ：1393852684 ? 地址：http://blog.csdn.net/hjimce? ?原創文章，版權所有，轉載請保留本行信息（不允許刪除）********************
總結
以上是生活随笔為你收集整理的深度学习（十四）基于CNN的性别、年龄识别的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深度学习（十二）稀疏自编码
- 下一篇： 深度学习（十六）基于2-channel