论文笔记：MobileFaceNet
生活随笔
收集整理的這篇文章主要介紹了
论文笔记：MobileFaceNet
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
原文：MobileFaceNets: Efficient CNNs for Accurate Real-time Face Verification on Mobile Devices
MobileFaceNet
1、四個(gè)問題
- 設(shè)計(jì)一個(gè)在手機(jī)或嵌入式設(shè)備上可實(shí)時(shí)運(yùn)行且具有高精度的人臉驗(yàn)證CNN模型。
- 以MobileNet v2網(wǎng)絡(luò)為骨架，做了一些改進(jìn)：
- 使用全局可分離卷積（global depthwise convolution，GDConv）替代全局平均池化層（global average pooling）。（注：我自己在訓(xùn)練MobileNet v2時(shí)，使用全局平均池化層的話也經(jīng)常會(huì)遇到網(wǎng)絡(luò)較難收斂的情況）
- 使用ArcFace的Loss函數(shù)。
- 使用PReLU替代ReLU，效果會(huì)稍微好一點(diǎn)。
- 通道擴(kuò)張參數(shù)（expansion factors）比MobileNet v2的減小一些。
- 由于是小網(wǎng)絡(luò)，性能肯定會(huì)比大網(wǎng)絡(luò)差一點(diǎn)。但在一定程度上已經(jīng)與一些大網(wǎng)絡(luò)的性能相當(dāng)了。
- 在使用MS-Celeb-1M從頭開始訓(xùn)練后，在LFW上的準(zhǔn)確率達(dá)到了99.55%，在MegaFace比賽中達(dá)到了92.59%的TAR@FAR1e-6 。
- 為了達(dá)到實(shí)時(shí)性，網(wǎng)絡(luò)結(jié)構(gòu)不得不進(jìn)行縮減，這在一定程度上會(huì)限制網(wǎng)絡(luò)的學(xué)習(xí)能力，文中只是使用了輕量化網(wǎng)絡(luò)結(jié)構(gòu)（MobileNet v2），并沒有使用其他模型壓縮方法，還可以再使用一些模型壓縮方法（如剪枝（prunning）、量化（low-bit quantization）、知識(shí)蒸餾（knowledge distillation））進(jìn)一步改進(jìn)。
2、論文概述
2.1、改進(jìn)方法
A、MobileNet v2的局限性
- 以上圖為例，主要說明一下global average pooling的缺陷。
- 預(yù)處理：使用MTCNN檢測(cè)出人臉以及5個(gè)人臉特征點(diǎn)，之后將人臉對(duì)其到112×112112 \times 112112×112的圖片。對(duì)像素做歸一化，歸一化到-1到1（減去127.5再除以128）。
- CNN：假設(shè)這里用的CNN是MobileNet v2，將前面預(yù)處理后的人臉?biāo)腿隒NN，輸出可以得到一個(gè)7×7×c7 \times 7 \times c7×7×c的特征圖（c表示特征圖的通道數(shù)），再使用全局平均池化提取特征向量。
- 從圖中的RF1和RF2來看，RF2的感受野對(duì)應(yīng)包括了整個(gè)圖像，RF1的感受野只包括了人臉圖像的一部分。但是使用全局平均池化，即意味著我們認(rèn)為RF1與RF2等價(jià)，很顯然這是不正確的。應(yīng)該給RF2更大的權(quán)重，RF1更小的權(quán)重才對(duì)。
- 全局池化將特征圖上所有的值都視作同等重要，根據(jù)上面的分析來看，這是不太好的。而一種很常見的解決辦法就是，將全局池化替換為全連接層，但是替換成全連接層會(huì)給模型帶來非常多的參數(shù)，有悖于輕量化模型的初衷。
B、全局可分離卷積（global depthwise convolution）
- 將全局池化替換為全局可分離卷積。
- 如果輸入特征圖是h×wh \times wh×w，那么全局可分離卷積的卷積核大小也是h×wh \times wh×w。通道數(shù)即為特征維數(shù)。
C、網(wǎng)絡(luò)結(jié)構(gòu)
3、參考資料
總結(jié)
以上是生活随笔為你收集整理的论文笔记：MobileFaceNet的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 论文笔记：ZFNet
- 下一篇： 论文笔记：DeepID2