「從我有記憶開始，媽媽就是中年婦女的模樣，所以我會忘記，她也曾是花季少女。」

春節(jié)檔上映的《你好，李煥英》讓不少人在影院哭得稀里嘩啦，它戳中了每個人心里最柔軟的部分。有人看完電影之后會給媽媽打個電話，有人會拿出媽媽年輕時的照片，感嘆一下爸爸的基因為什么要那么強大。

B 站知名 up 主大谷也是《你好，李煥英》的影迷之一，不過他做了一點不一樣的事情：嘗試用一系列 AI 技術(shù)修復(fù)了李煥英年輕時的黑白照片，不僅給照片上了色、提高了分辨率，還讓照片中的人物動了起來。

原始黑白照片。

修復(fù)后的動態(tài)彩色照片。

整個修復(fù)的流程并不復(fù)雜，涉及 AI 色彩還原、AI 清晰度增強、臉部精修、手繪微調(diào)等過程：

最終的修復(fù)效果如下：

大谷表示，他是偶然間看到了這張老照片，很有感觸，于是試著用 AI 腦補還原了一下拍攝前的動態(tài)影像。不過，由于還原場景動態(tài)與上色是基于 AI 技術(shù)生成，具有一定的想象元素，因此不等于準(zhǔn)確還原。

為了幫助大家掌握這項技能，大谷還公布了他用到的兩個開源項目：飛槳 PaddleGAN 和 DFDNet。

飛槳 PaddleGAN

GAN 的全稱是生成對抗網(wǎng)絡(luò)，被「卷積網(wǎng)絡(luò)之父」Yann LeCun（楊立昆）譽為「過去十年計算機(jī)科學(xué)領(lǐng)域最有趣的想法之一」，是近年來火遍全網(wǎng)、AI 研究者最為關(guān)注的深度學(xué)習(xí)算法方向之一。

GAN 在諸多領(lǐng)域都有著成功的應(yīng)用，如圖像生成 / 修復(fù)、超分辨率、圖像噪聲消除、換裝 / 妝、圖像風(fēng)格遷移、文字 / 聲音生成等，覆蓋互聯(lián)網(wǎng)、娛樂、游戲等各個行業(yè)。

為了給開發(fā)者提供經(jīng)典及前沿的生成對抗網(wǎng)絡(luò)高性能實現(xiàn)，并支撐開發(fā)者快速構(gòu)建、訓(xùn)練及部署生成對抗網(wǎng)絡(luò)，百度飛槳打造了一個圖像生成模型庫——PaddleGAN，覆蓋 Pixel2Pixel、CycleGAN、StyleGAN2、PSGAN 等經(jīng)典 GAN 模型，支持視頻插幀、超分辨率、老照片 / 視頻上色、視頻動作生成等應(yīng)用。

除了上面展示的視頻修復(fù)，PaddleGAN 還能提供各類不同的圖形影像生成、處理能力。人臉屬性編輯能力能夠在人臉識別和人臉生成基礎(chǔ)上，操縱面部圖像的單個或多個屬性，實現(xiàn)換妝、變老、變年輕、變換性別、發(fā)色等，使得一鍵換臉成為可能 *；* 動作遷移能夠?qū)崿F(xiàn)肢體動作變換、人臉表情動作遷移等。

比如這樣：?

讓蘇大強表達(dá)心中之痛，唱起 unravel（視頻鏈接：https://www.bilibili.com/video/BV1Yy4y1r7DC）。

這樣：?

還有這樣：?

PaddleGAN 項目鏈接：https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

DFDNet

近年來，基于參考的人臉修復(fù)方法已經(jīng)受到了很多關(guān)注，但這些方法大多需要來自相同身份的高質(zhì)量的參考圖像，因此只適用于有限的場景。為了解決這一問題，來自哈爾濱工業(yè)大學(xué)、香港大學(xué)等機(jī)構(gòu)的研究者在《Blind Face Restoration via Deep Multi-scale Component Dictionaries》一文中提出了一種名為深度人臉字典網(wǎng)絡(luò)（deep face dictionary network，DFDNet）的方法來指導(dǎo)退化觀測（dgraded observation 的修復(fù)過程。

首先，作者使用 K-means，利用高質(zhì)量圖像為感知顯著的人臉部位（如左 / 右眼、鼻子和嘴）生成深度字典。接下來，利用退化輸入（degraded input），研究者從相應(yīng)的字典中匹配和選擇最相似的部位特征，并通過提出的字典特征遷移塊（DFT）將高質(zhì)量的細(xì)節(jié)遷移到輸入上。最后，利用多尺度字典逐步實現(xiàn)從粗粒度到細(xì)粒度的修復(fù)。

實驗結(jié)果表明，作者提出的方法在定性和定量評估中都能實現(xiàn)合理的性能。更加重要的是，該方法可以在不需要 identity-belonging 參考的情況下，利用真實的退化圖像（degraded image）生成逼真、有前景的結(jié)果。以下是一些人臉修復(fù)效果展示：

該網(wǎng)絡(luò)的基本結(jié)構(gòu)如下：

網(wǎng)絡(luò)主要包含兩個部分：a. 從大量包含各種姿態(tài)和表情的高質(zhì)量圖像中離線生成多尺度組件字典。這部分使用 K-means 算法為每個部位（即左 / 右眼、鼻子和嘴）在不同尺度上生成 K 個簇；b. 修復(fù)過程和字典特征遷移（DFT）塊，用于以漸進(jìn)的方式提供參考細(xì)節(jié)。

• 論文鏈接：https://arxiv.org/pdf/2008.00418.pdf

• 項目鏈接：https://github.com/csxmli2016/DFDNet

參考鏈接：

https://mp.weixin.qq.com/s/xSic1Tk93dk_N1qMylymtg

https://www.bilibili.com/video/BV1wh411k7YN?p=1&share_medium=iphone&share_plat=ios&share_source=WEIXIN_MONMENT&share_tag=s_i×tamp=1613972331&unique_k=KQGwoS?

總結(jié)

以上是生活随笔為你收集整理的B站up主用AI还原李焕英 动态影像的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。