像素不夠，后期修圖來(lái)湊？

　　在知乎搜索低像素修圖，結(jié)果求助帖多到刷不完，而且從 PS 技巧、插件神器到各類修圖 App 教程多到眼花繚亂，重點(diǎn)是效果不知道會(huì)怎么樣。

　　不過(guò)，近日杜克大學(xué)（Duke University）研究團(tuán)隊(duì)開發(fā)了一款 AI 修圖黑科技 PULSE，可以解決所有低像素?zé)?。?jù)說(shuō)它能夠?qū)D像原始分辨率放大 64 倍，任何渣畫質(zhì)都可以秒變高清、逼真圖像，甚至被打了馬賽克的人臉圖像，毛孔、皺紋，頭發(fā)也都能被清晰還原。

　　馬賽克秒變高清人像

　　PULSE 是一種新型超分辨率算法，它通過(guò)潛在空間探索對(duì)照片采樣，可以將 16x16 像素的低分辨率（Low Resolution，簡(jiǎn)稱 LR）放大到 1024x1024 像素的高分辨率（HighResolution，簡(jiǎn)稱 HR），在幾秒內(nèi)增加了 64 倍，而傳統(tǒng)方法最多只能放大 8 倍。

　　先來(lái)看一組示例，修圖界最難處理的 LR 大頭照，經(jīng)過(guò) PULSE 也可以秒變高清、細(xì)膩的圖像。

　　更重要的是，PULSE 可以定位面部的關(guān)鍵特征，以更高分辨率生成一組類似的細(xì)節(jié)。圖中盡管頭像被打上了馬賽克，PULSE 也可以自行“想象”出諸如眉毛、睫毛、頭發(fā)、臉型等面部細(xì)節(jié)，形成高清、逼真人像。

　　不過(guò)，過(guò)度虛化產(chǎn)生的人像只是一種虛擬的新面孔，事實(shí)上它并不存在。正因如此，這項(xiàng)技術(shù)不能用于身份識(shí)別。比如監(jiān)控?cái)z像頭拍攝的失焦、無(wú)法辨別的圖片，不能通過(guò) PULSE 還原成真實(shí)存在的人像。

　　一位杜克大學(xué)研究小組的計(jì)算機(jī)科學(xué)家 Cynthia Rudin 說(shuō)“此前從來(lái)沒有如此超高分辨率的圖像被制作出來(lái)，它能夠產(chǎn)生不存在的新面孔，而且看起來(lái)很真實(shí)”。

　　同時(shí)，她補(bǔ)充到，這項(xiàng)研究所采取的技術(shù)可以廣泛應(yīng)用于醫(yī)學(xué)、顯微鏡、天文學(xué)，以及衛(wèi)星圖像等領(lǐng)域。另外，該研究團(tuán)隊(duì)已將論文已經(jīng)發(fā)表至預(yù)印論文庫(kù) arVix，同時(shí)被 IEEE 國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議（CVPR 2020）收錄。

　　“縮減損失”，超越常規(guī)修圖法

　　對(duì)于一個(gè) LR 圖像，傳統(tǒng)將 HR 分辨率部分匹配給 LR 圖像而獲取超高分辨率（SR）的方式，往往會(huì)導(dǎo)致 HR 圖像出現(xiàn)感光度差、不平滑，畫面失真的情況。

　　在本次研究中，杜克大學(xué)研究團(tuán)隊(duì)開拓了一種新思路，提出新型超分辨率算法 PULSE，它不是遍歷 LR 圖像來(lái)慢慢添加細(xì)節(jié)，而是發(fā)現(xiàn)與 HR 相對(duì)應(yīng)的 LR，通過(guò)“縮減損失”的方式得到 SR 圖像。

原始 LR (第一行),PULSE 輸出 HR（中間行）,HR 對(duì)應(yīng)的 LR (最后一行)

　　PULSE 使用了生成對(duì)抗網(wǎng)絡(luò)（GAN），它是一種訓(xùn)練模型，顧名思義，通過(guò)對(duì)抗博弈的方式來(lái)進(jìn)行目標(biāo)訓(xùn)練。其主要結(jié)構(gòu)包括一個(gè)生成器（Generator）和一個(gè)鑒別器（Discriminator），在同一組照片訓(xùn)練中，一個(gè)負(fù)責(zé)訓(xùn)練接收到的圖像并輸出，一個(gè)負(fù)責(zé)接收該輸出，并檢驗(yàn)其是否足夠逼真。

　　以下是與原圖對(duì)比后的試驗(yàn)結(jié)果：

　　圖中，第一行為原圖，第二行為通過(guò)“縮減損失”得到的 HR 所對(duì)應(yīng)的 LR，而第三行經(jīng)過(guò) PULSE 得到的 HR，可以看出，盡管與原圖還存在細(xì)微的差別，但還原度已經(jīng)非常高。

　　論文中表明，為了檢驗(yàn) PULSE 在 SR 方面的優(yōu)勢(shì)，杜克大學(xué)研究團(tuán)隊(duì)采用 4 種不同的圖像縮放方法與其進(jìn)行了比較研究。本次研究利用 CelebA HQ 數(shù)據(jù)集中的 1440 張圖像，以 x8，x64 的比例因子，對(duì) LR 面部圖像，尤其是眼部、唇部以及頭發(fā)等細(xì)節(jié)之處進(jìn)行了試驗(yàn)。

　　PULSE 呈現(xiàn)出了明顯的優(yōu)勢(shì)，尤其是在 X64 分辨率下，模糊頭像被完全還原，尤其是在眼唇等細(xì)節(jié)之處，其他方法幾乎達(dá)不到這樣的效果。

　　另外，針對(duì)測(cè)試結(jié)果，研究人員采用感知超分辨率常見的 MOS 測(cè)試方式，邀請(qǐng)五位評(píng)分者對(duì)圖像結(jié)果進(jìn)行了1-5 的打分，結(jié)果顯示，HR 源高清圖像分辨率得分為 3.74，而 PULSE 達(dá)到了 3.60，僅差 0.14，可以說(shuō)幾乎達(dá)到了真實(shí)的高質(zhì)量圖像的水平。

　　不過(guò)，研究人員也承認(rèn) PULSE 還不是很完美。它產(chǎn)生的高分辨率圖像與專業(yè)原圖像相比還有一定的差別。但隨著技術(shù)和工具的改進(jìn)，這項(xiàng)技術(shù)會(huì)被一點(diǎn)點(diǎn)的完善。

　　現(xiàn)在研究團(tuán)隊(duì)已經(jīng)將 PULSE 發(fā)布到 Github 開源平臺(tái)，而且收割了 569 科顆星星。有修圖煩惱的朋友可以安裝體驗(yàn)一下~（Github 地址：https://github.com/adamian98/pulse）

　　引用鏈接：

　　論文地址：https://arxiv.org/pdf/2003.03808.pdf

　　http://pulse.cs.duke.edu/

　　https://www.gizmodo.co.uk/2020/06/researchers-have-created-a-tool-that-can-perfectly-depixelate-faces/

　　https://www.rt.com/news/492091-ai-tech-undo-pixelation/

總結(jié)

以上是生活随笔為你收集整理的有码变高清！AI一秒还原马赛克，杜克大学出品的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。