哪个小姐姐是假的?Yann LeCun说合成人脸并不难分辨
授權(quán)轉(zhuǎn)載自機(jī)器之心
未經(jīng)許可禁止二次轉(zhuǎn)載
近日,測(cè)試人類(lèi)分辨「AI 合成人臉」能力的一個(gè)網(wǎng)頁(yè)吸引了大家的關(guān)注。在未看攻略前,也許你也難以分辨真假。
自 2018 年 12 月英偉達(dá)推出 StyleGAN 以來(lái),合成人臉已經(jīng)讓人難以輕易分辨。特別是今年年初,英偉達(dá)開(kāi)源了 StyleGAN 的代碼,大量真假難辨的人臉被開(kāi)發(fā)者「創(chuàng)造」出來(lái)。
近日,有開(kāi)發(fā)者創(chuàng)建了一個(gè)網(wǎng)站,讓玩家分辨哪張人臉是真實(shí)的。如下圖所示,打開(kāi)網(wǎng)站地址,就可以直接玩游戲,選擇自己認(rèn)為的真實(shí)人臉。
網(wǎng)站地址:http://www.whichfaceisreal.com/index.php
下面的這些圖你能分辨真假嗎?(答案見(jiàn)文后)
在未看「攻略」之前,小編依靠本能選擇,結(jié)果前五輪測(cè)試全部錯(cuò)誤(這運(yùn)氣也是杠杠的)。但 AI 大牛 Yann LeCun 有妙招。 在 Twitter 上「傲嬌地」表示,他嘗試了一些測(cè)試,全部選擇正確。如果你了解當(dāng)前的,就發(fā)現(xiàn)圖像中的一些明顯訊號(hào)。
其實(shí)仔細(xì)總結(jié),我們還是會(huì)發(fā)現(xiàn)生成圖像在細(xì)節(jié)上有些「痕跡」,而這些「痕跡」就是判別的指南。說(shuō)不定以后的 能解決掉這些細(xì)節(jié),讓生成圖像真正「欺騙」人類(lèi)。
真假臉怎么做?
在去年的 12 月中,英偉達(dá)發(fā)布了一種新型 StyleGAN,它生成的圖像極其逼真,如果只看假圖的話基本上都不能確定是不是真的。StyleGAN 的生成器架構(gòu)借鑒了風(fēng)格遷移研究,可對(duì)高級(jí)屬性(如姿勢(shì)、身份)進(jìn)行自動(dòng)學(xué)習(xí)和無(wú)監(jiān)督分割,且生成圖像還具備隨機(jī)變化(如雀斑、頭發(fā))。
在 2019 年 2 月份,英偉達(dá)發(fā)布了 StyleGAN 的開(kāi)源代碼,我們可以利用它生成真實(shí)的圖像。在默認(rèn)情況下,SyleGAN 訓(xùn)練 1024×1024 分辨率的圖片需要使用 8 塊 GPU 訓(xùn)練接近一個(gè)星期,英偉達(dá)研究者在說(shuō)明文檔中勸告所有使用者:使用較少 GPU 可能無(wú)法達(dá)到最佳效果。
StyleGAN 官方開(kāi)源地址:https://github.com/NVlabs/stylegan
StyleGAN 合成的逼真人臉圖像,圖源 Kerras et al. (2018)。
除了生成對(duì)抗網(wǎng)絡(luò)的代碼外,英偉達(dá)還提供了大量預(yù)訓(xùn)練模型,包括室內(nèi)、汽車(chē)和人臉等,我們可以借助它繞過(guò)漫長(zhǎng)的訓(xùn)練過(guò)程。對(duì)于這個(gè)網(wǎng)站所生成的人臉,英偉達(dá)提供的預(yù)訓(xùn)練模型是在兩個(gè)大型人臉圖像數(shù)據(jù)集上訓(xùn)練的,即 CELEBA-HQ 和 FFHQ。其中 CELEBA-HQ 提供數(shù)以千計(jì)的名人人臉,而 FFHQ 包含發(fā)布到 Flickr 的 7 萬(wàn)多張人臉圖像。
Flickr FFHQ 數(shù)據(jù)集上的真實(shí)人臉圖像,它們會(huì)用來(lái)訓(xùn)練算法,圖像來(lái)自 FFHQ 數(shù)據(jù)集。
在這個(gè)網(wǎng)站中,作者每次展示一對(duì)人臉圖像。其中真實(shí)人臉選自 FFHQ 數(shù)據(jù)集,合成人臉由 StyleGAN 系統(tǒng)生成。這些合成人臉圖像同樣展示在網(wǎng)站 thispersondoesnotexist.com 中,該網(wǎng)站每 2 秒展示一張由 StyleGAN 生成的偽造人臉。(參見(jiàn):從此再無(wú)真「相」!這些人全部是 AI 生成的)
真假臉怎么辯?
?
盡管 StyleGAN 非常出色,且只看合成人臉很難相信它們都是偽造的,但是 StyleGAN 同樣也會(huì)留下一些偽造的痕跡,很多痕跡甚至是生成圖像的共性。這些「痕跡」因圖像而異,并不是每一張圖像都有,也不是所有痕跡都比較明顯。但是了解這些技巧后,我們就能快速區(qū)分真假人臉,并達(dá)到很高的準(zhǔn)確率。
水斑
我們并不確定以后的 GAN 是否也會(huì)出現(xiàn)這個(gè)問(wèn)題,但是當(dāng)前 StyleGAN 的一個(gè)顯著特點(diǎn)是:它有時(shí)會(huì)產(chǎn)生一些閃亮的斑點(diǎn),這些斑點(diǎn)看起來(lái)有點(diǎn)像舊照片上的水斑。這個(gè)特征很容易幫助我們將其判斷為生成圖像,不過(guò)斑點(diǎn)可能會(huì)出現(xiàn)在圖像的任何地方,且在頭發(fā)和背景的交界處出現(xiàn)的頻率比較高。
背景問(wèn)題
另一個(gè)判斷依據(jù)是出現(xiàn)在圖像背景里的各種錯(cuò)誤,因?yàn)楸尘翱赡馨S富的語(yǔ)義信息,只要語(yǔ)義信息不連貫,我們就能斷定它是假的。神經(jīng)網(wǎng)絡(luò)主要用來(lái)訓(xùn)練生成面部,它對(duì)背景環(huán)境的注意力并沒(méi)有那么多。在最糟的情況下,可能生成的圖像如下第一張所示,旁邊的人非常奇怪。當(dāng)然也可能如第二張生成一些混亂的形狀或立方體,如第三張生成完全不合理的背景。
眼鏡
到目前為止,生成對(duì)抗網(wǎng)絡(luò)很難生成逼真的眼鏡。一個(gè)常見(jiàn)的問(wèn)題是生成的眼鏡不對(duì)稱(chēng),我們只要看看眼鏡的框架結(jié)構(gòu)就能識(shí)別出來(lái)。很可能左邊的框架會(huì)采用一種風(fēng)格,而右邊的框架又采用另一種風(fēng)格;也可能框架的邊框產(chǎn)生扭曲或出現(xiàn)鋸齒。
其他不對(duì)稱(chēng)
總的來(lái)說(shuō),對(duì)稱(chēng)是人臉生成算法面臨的一大挑戰(zhàn)。除了不對(duì)稱(chēng)的眼鏡之外,還要注意左右兩邊臉毛、耳朵、首飾及衣物的不對(duì)稱(chēng)。StyleGAN 表示:我容易么我。。
頭發(fā)
頭發(fā)很難渲染地很逼真。有時(shí)臉上或其他部位會(huì)有不連貫的頭發(fā)(如下面第一張圖所示)。還有些時(shí)候頭發(fā)可能會(huì)太直、有條紋,正如 Kyle McDonald 所說(shuō)的,「就像有人用調(diào)色刀或一把大刷子弄臟了一塊丙烯酸顏料。」如下圖中間的圖所示。有時(shí)頭發(fā)周?chē)鷷?huì)有奇怪的光暈(如下面第三張圖所示)。
Kyle McDonald 識(shí)別生成圖像的經(jīng)驗(yàn):https://medium.com/@kcimc/how-to-recognize-fake-ai-generated-images-4d1f6f9a2842
熒光滲透
一種有趣的現(xiàn)象是,假照片背景里的熒光色彩有時(shí)會(huì)從背景流到頭發(fā)或臉上。
牙齒
牙齒不容易渲染,假照片里的牙齒通常很奇怪或不對(duì)稱(chēng)。一些照片里的人甚至有三顆門(mén)牙(如下面最后一張圖所示)。
照片為真的標(biāo)志
上面介紹了如何識(shí)別假照片,我們已經(jīng)知道神經(jīng)網(wǎng)絡(luò)難以生成什么事物。如果遇見(jiàn)渲染準(zhǔn)確、各方面都做得很好的照片,你就可以很自信地說(shuō)那是一張真照片。這些方面包括對(duì)稱(chēng)的眼鏡和耳環(huán)(下圖第一張)、旁邊有真實(shí)無(wú)誤的同伴(下圖第二張)以及充滿細(xì)節(jié)的背景,尤其是旁邊還有可以閱讀的文字(下圖第三張)。
高招
在實(shí)際生活中,其實(shí)我們可以用一記妙招來(lái)可靠地辨別互聯(lián)網(wǎng)上生成的人是否為真人。方法很簡(jiǎn)單:StyleGAN 算法不能生成同一個(gè)「假人」的多張圖像。截至目前,我們還沒(méi)聽(tīng)說(shuō)過(guò)有哪一款軟件可以生成同一個(gè)假人多個(gè)角度的人像。因此,如果你想確定你在社交網(wǎng)絡(luò)上的夢(mèng)中情人是真人,那就跟他多要幾張照片。如果他能給出一張大頭照和其他照片,那他就是真人。當(dāng)然,給你發(fā)信息的人未必是照片里的人,但照片里的人一定是真人。
軟件總有一天會(huì)升級(jí),但現(xiàn)在來(lái)看,多張照片仍然是證明真實(shí)性的有力證據(jù)。
答案:第一張右邊是真的,第二張右邊的是真的,第三張左邊是真的。你猜對(duì)了幾個(gè)?
總結(jié)
以上是生活随笔為你收集整理的哪个小姐姐是假的?Yann LeCun说合成人脸并不难分辨的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: Python 标准库之 XML(下)
- 下一篇: 深度学习搞CV?图像数据不足咋办?看这里