魚羊發(fā)自凹非寺

　　量子位報(bào)道公眾號(hào) QbitAI

　　相關(guān)文章：大谷新作！AI 還原「王之霸氣」朱元璋，杜甫傾情獻(xiàn)唱奧特曼主題曲

　　霍格沃茨的同學(xué)們都知道，想要進(jìn)入格蘭芬多休息室，得先過胖夫人這一關(guān)。

　　所以，會(huì)說話的照片/畫像它科學(xué)嗎？

　　其實(shí)，在 AI 時(shí)代的麻瓜世界里，這早就不算事兒了。

　　不信，你看看這個(gè)激情演唱迪迦奧特曼主題曲《奇跡再現(xiàn)》的杜甫：

　　

　　△網(wǎng)友：0202 年，杜甫越來越忙了

　　還有這個(gè)目光如炬，侃侃而談的明太祖朱元璋：

　　以及從大秦帝國(guó)穿越而來的這位大哥：

　　誰(shuí)見了不得喊一句：鵝妹子嚶。

　　想必你已經(jīng)猜到了，這樣的「魔法」依然是由 AI 帶來，涉及的技術(shù)包括圖像生成、運(yùn)動(dòng)估計(jì)等等。

　　而打造這些作品的，就是那位給 100 年前的北平城上色的獨(dú)立藝術(shù)家、微博博主@大谷 Spitzer。

　　就僅僅在 8 月份月，@大谷 Spitzer 在微博上先后被@人民日?qǐng)?bào) 、@央視新聞、@頭條新聞等諸多媒體和微博大號(hào)“點(diǎn)名”，粗略統(tǒng)計(jì)微博上關(guān)于他的視頻總播放量達(dá)數(shù)千萬(wàn)。

　　用一個(gè)時(shí)下熱門的詞來說，@大谷 Spitzer 這位原本將自己定位為“游戲”的博主，憑借 AI 還原技術(shù)一夜之間在微博“出圈”了。

　　背后的 AI 黑科技

　　那么，AI 具體是怎么讓這些藝術(shù)作品動(dòng)起來的呢？

　　大谷介紹，基于 YouTube 大神 Denis Shiryaev 的教程，他這次用到的 AI 項(xiàng)目分別是（鏈接見文末）：

• Artbreeder

• StyleGAN-Art

• Realistic-Neural-Talking-Head-Models

• First-Order-Model（加文章超鏈）

• DAIN

• Topaz Labs

　　Artbreeder

　　Artbreeder 是一個(gè)基于生成對(duì)抗網(wǎng)絡(luò)（GAN）技術(shù)的在線圖像生成網(wǎng)站。

　　在 Artbreeder 上，用戶可以通過調(diào)整滑塊，來創(chuàng)建不同風(fēng)格的人像、動(dòng)畫。

　　StyleGAN-Art

　　StyleGAN 是英偉達(dá)在 2018 年發(fā)布的人臉生成模型，支持 2014×1024 的高清大圖生成。

　　并在 2019 年升級(jí)成為了效果更加逼真、無(wú)暇的 StyleGAN2。

　　StyleGAN-Art 則是經(jīng)過了特殊調(diào)教的 StyleGAN，專注于肖像畫的生成。效果是醬嬸的：

　　Realistic-Neural-Talking-Head-Models

　　這項(xiàng)研究來自莫斯科三星 AI 中心和斯科爾科沃科學(xué)技術(shù)研究所。

　　只需要少量圖像樣本，就能學(xué)習(xí)到高度逼真和個(gè)性化的目標(biāo)人物面部模型。甚至對(duì)于肖像畫也一樣適用。

　　First-Order-Model

　　一張名人照片，加上隨便一段視頻，就能讓照片里的人物分分鐘動(dòng)起來。

　　比如輸入一段川普的視頻，原本靜止在畫面中的史塔克們，也忍不住跟著動(dòng)了起來。

　　這就是來自意大利特倫托大學(xué)的「First-Order-Model」。

　　DAIN

　　DAIN 是上海交通大學(xué)開發(fā)的插幀算法，能把 30fps 的視頻一口氣插幀到 480fps，讓視頻絲滑流暢，毫無(wú)卡頓。

　　

　　△看琦玉老師這絲滑的披風(fēng)

　　并且，這項(xiàng)技術(shù)不僅適用于真實(shí)拍攝的視頻，電影、定格動(dòng)畫、動(dòng)漫都能搞定。

　　Topaz Labs

　　Topaz Labs 的能力，是基于機(jī)器學(xué)習(xí)技術(shù)和 trimap 技術(shù)，增加照片的分辨率，補(bǔ)充像素細(xì)節(jié)。

　　提供添加蒙版，AI 色彩、細(xì)節(jié)增強(qiáng)，AI 降噪，無(wú)損失放大等功能。

　　不過，這是一系列收費(fèi)軟件。

　　當(dāng)然，除了這些 AI 黑科技，作者的耐心調(diào)教也是不可或缺的。

　　大谷本人也在接受新京報(bào)采訪時(shí)坦承，制作過程中，翻車的例子也不少。

　　沒有點(diǎn)亮 AI 技能點(diǎn)怎么辦？

　　最后的最后，還有一個(gè)問題：

　　如果沒有點(diǎn)亮 AI 技能點(diǎn)，就不能親自體驗(yàn)這樣的「魔法時(shí)刻」了嗎？

　　或許，你可以期待一下 Adobe 的產(chǎn)品。

　　在去年的 Adobe MAX 大會(huì)上，Adobe 露了這么一手：加入音軌，畫中人就能一鍵對(duì)口型。

　　哪怕只是簡(jiǎn)筆畫，也能被賦予自然的動(dòng)態(tài)。

　　Adobe 表示，在不遠(yuǎn)的將來，這樣的功能可能會(huì)出現(xiàn)在 Adobe 全家桶里面，作為新增功能或新產(chǎn)品出現(xiàn)。

　　介時(shí)，穿越到哈利波特的世界還不是分分鐘的事？（狗頭）

　　傳送門

　　完整視頻：

　　https://weibo.com/1649367031/JhgqvED8r?filter=hot&root_comment_id=0&type=comment

　　https://weibo.com/2395607675/JhqwlENKe?filter=hot&root_comment_id=0&type=comment

　　Artbreeder：

　　https://www.artbreeder.com/

　　StyleGAN-Art：

　　https://github.com/ak9250/stylegan-art

　　Realistic-Neural-Talking-Head-Models：

　　https://github.com/vincent-thevenin/Realistic-Neural-Talking-Head-Models

　　https://arxiv.org/abs/1905.08233

　　First-Order-Model：

　　https://github.com/AliaksandrSiarohin/first-order-model

　　https://arxiv.org/abs/2003.00196

　　DAIN：

　　https://github.com/baowenbo/DAIN

　　https://sites.google.com/view/wenbobao/dain

總結(jié)

以上是生活随笔為你收集整理的杜甫在线演唱《奇迹再现》、兵马俑都能开口说话… 网友用AI技术分分钟打破次元壁的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。