GAN 的内在漏洞，只看眼睛就能找出虚拟人脸？
本文轉(zhuǎn)載自公眾號“夕小瑤的賣萌屋”，專業(yè)帶逛互聯(lián)網(wǎng)算法圈的神操作
-----》我是傳送門
關(guān)注后，回復(fù)以下口令：
回復(fù)【789】 ：領(lǐng)取深度學習全棧手冊（含NLP、CV海量綜述、必刷論文解讀）
回復(fù)【入群】：加入賣萌屋深度學習/NLP/CV/搜廣推等方向的技術(shù)交流與內(nèi)推社群（大V、頂會審稿人云集）
回復(fù)【0511】：領(lǐng)取算法崗面試手冊（刷offer神器）
回復(fù)【0424】：領(lǐng)取刷論文神器（挖掘每日、每月必刷重磅論文）
文 | 小戲
讓我們先來看一組漂亮的小姐姐：
?如果說，這四張照片里有一張并不是真人，而是由 GAN 生成的虛擬人像，大家可以看出是哪一張嗎？
答案揭曉！在這一組照片中，由 GAN 生成的虛擬人像是二號小姐姐。可以看到，無論如何，目前由 GAN 及其衍生技術(shù)所生成的虛擬人像已經(jīng)完全可以達到以假亂真的程度，其生成的人臉很難被人類從視覺上進行分辨。這自然是人像生成領(lǐng)域的一大進步，然而，這種可以被以極低成本大量生產(chǎn)的虛擬人像很容易被濫用于諸如虛假信息欺詐、社交媒體頭像等等地方。
在這些場景下，如何從大量圖片信息中分類出真實人臉與虛擬人像便成為了一個新的問題。其實初想或許會覺得這是一件很容易的二分類的問題，可以如果仔細一想一個二分類的判別器很難在 GAN 的訓練機制下對分類真實人臉與虛擬人像取得良好的分類效果與魯棒性。
在這樣的背景下，來自 UAlbany 的學者們另辟蹊徑，提出了一種基于物理的方法，通過暴露出 GAN 模型本身與真實物理世界交互的缺陷來巧妙識別出真實人臉與虛擬人像的方法，即通過識別瞳孔的形狀來判斷人臉的真實與否。讓我們來看看這篇論文吧！
論文題目：
EYES TELL ALL: IRREGULAR PUPIL SHAPES REVEAL GAN-GENERATED FACES
論文鏈接：
https://arxiv.org/abs/2109.00162
Arxiv訪問慢的小伙伴也可以在 【夕小瑤的賣萌屋】訂閱號后臺回復(fù)關(guān)鍵詞 【0915】 下載論文PDF~
?從上圖可以看到，我們的眼睛中心是虹膜與瞳孔，白色的區(qū)域是鞏膜。對于一個健康的成年人而言，瞳孔的形狀一般是圓形的。如上圖下方左側(cè)的圖像，從正面看瞳孔趨于正圓。而論文作者發(fā)現(xiàn)，使用 GAN 等技術(shù)生成的人臉，其瞳孔形狀是不規(guī)則的，放大由 GAN 生成的虛假人像可以清楚的看到，其瞳孔的形狀呈現(xiàn)了明顯的不規(guī)則。
論文作者推斷，出現(xiàn)這種現(xiàn)象的根本原因在于，類似 GAN 等模型實質(zhì)上缺乏對人眼結(jié)構(gòu)的真正理解，換而言之，GAN 等模型在生成人像時，仍然缺乏從人類生理結(jié)構(gòu)出發(fā)的約束。而這種機制上的缺陷為判別真實人像與虛擬人像提供了可能。
總的來說，論文提出的虛擬人像檢測方法分為三步，如下圖所示，對于一張輸入的人像（a），首先需要定位到人像的瞳孔部分，得到如下圖（b）的結(jié)果，接下來論文使用 EyeCool 算法從（b）中提取得到瞳孔掩膜(Pupil Mask)，勾勒出瞳孔邊界，如下圖（c）所示，同時，論文提出了一種基于最小二乘的橢圓擬合方法，得到理想情況下真實人像的橢圓形瞳孔掩膜（d）（這里使用橢圓而非正圓的原因在于由于人像拍攝角度的印象，導致一般而言圖片人像瞳孔趨于橢圓）。最后通過改進的考慮邊界的 IoU 算法（BIoU）計算得到圖像與理論上真實瞳孔形狀之間的差異，從而判斷輸入人像是否是真實人像。
?根據(jù)這種方法，作者選用 Flickr-Faces-HQ (FFHQ) 數(shù)據(jù)集的一千張人臉作為真實人臉，使用 StyleGAN2 創(chuàng)建了一千張?zhí)摂M人臉進行實驗。
?實驗發(fā)現(xiàn)使用瞳孔形狀可以有效的區(qū)分真實人臉與虛擬人臉，算法的 AUC 分數(shù)達到了0.94，其評估指標——即 BIoU 值在真實人臉與虛擬人臉之間的分布也呈現(xiàn)了較大的差異。
?我們可以看到，這篇論文提出了一個簡單有效的方法區(qū)分真實人像與虛擬人像，這種方法在保證了準確率的同時，又提供了很好的可解釋性，甚至拋開算法，這個思路對我們使用肉眼判斷人像真實與否都有很好的實踐價值。
目前，無論是圖像生成還是文字生成，其實質(zhì)上都是一種自下而上的重復(fù)模仿，或多或少都缺乏一些如這篇論文所描述的一樣真實人臉的生理約束或是自然語言領(lǐng)域的語法句法。如何在進行生成時能更多的考慮這樣自上而下的先驗信息，使得這種先驗信息不僅可以作為評價真實與否的方式方法，更能作為圖像或文字生成時的內(nèi)在約束，或許是更為有意義的問題吧！
本文轉(zhuǎn)載自公眾號“夕小瑤的賣萌屋”，專業(yè)帶逛互聯(lián)網(wǎng)算法圈的神操作
-----》我是傳送門
關(guān)注后，回復(fù)以下口令：
回復(fù)【789】 ：領(lǐng)取深度學習全棧手冊（含NLP、CV海量綜述、必刷論文解讀）
回復(fù)【入群】：加入賣萌屋深度學習/NLP/CV/搜廣推等方向的技術(shù)交流與內(nèi)推社群（大V、頂會審稿人云集）
回復(fù)【0511】：領(lǐng)取算法崗面試手冊（刷offer神器）
回復(fù)【0424】：領(lǐng)取刷論文神器（挖掘每日、每月必刷重磅論文）
?萌屋作者：小戲
邊學語言學邊學NLP~
作品推薦
千呼萬喚始出來——GPT-3終于開源！
Linux 程 序 員 失 業(yè) 警 告
?后臺回復(fù)關(guān)鍵詞【入群】
加入賣萌屋NLP/IR/Rec與求職討論群
后臺回復(fù)關(guān)鍵詞【頂會】
獲取ACL、CIKM等各大頂會論文集！
?總結(jié)
以上是生活随笔為你收集整理的GAN 的内在漏洞，只看眼睛就能找出虚拟人脸？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 眼睛定位
- 下一篇： 深度学习中反向传播算法简单推导笔记