十三發(fā)自凹非寺
　　量子位報道公眾號QbitAI

　　古董級電影秒變 4K 高清，還能黑白變彩色。

　　由于技術(shù)原因，最早的影像資料都是較為模糊且卡頓的，這就讓大大降低了我們的觀感體驗。

　　而最近，國外網(wǎng)友 Denis Shiryaev 利用一種增強(qiáng)程序(Gigapixel AI)，將 1896 年的古董電影《火車進(jìn)站》，轉(zhuǎn)變成了 4K 60fps 高清“大電影”。

　　可以看到畫面中火車進(jìn)站、人物走動、衣服擺動都非常流暢、逼真。

　　當(dāng)然，看慣了高清電影的大家可能對此不以為然，那么請欣賞下 1896 年的原片。

　　沒有對比就沒有傷害，這才是原始《火車進(jìn)站》的效果，低清、卡頓，還有大量的噪點。

　　不僅如此，另一位網(wǎng)友還將這段高清視頻進(jìn)行了著色，可謂是賦予了古董電影新生命。

　　那么，這究竟怎么做到的呢？

　　AI 插值，自動填充百萬像素

　　據(jù) Shiryaev 介紹，他采用的是一種叫做Gigapixel AI的商業(yè)圖像編輯軟件(付費)。這款軟件由 Topaz 實驗室創(chuàng)造，可以讓圖像的質(zhì)量提升 600%。

Gigapixel AI

　　它利用一種專有的插值算法，對圖像做分析、識別其細(xì)節(jié)和結(jié)構(gòu)，最后將額外的“信息”填充到圖像中。

　　這個工作量是什么概念？

　　普通的高清是 1920×1080，總像素為 2073600，而 4K 高清是 3840x2160，總像素是 8294400。

　　也就是說，光是要把普通高清提升到 4K 高清，就需要額外填充 600 萬個像素。

　　不僅如此，還需要弄清楚如何顯示這些額外的像素，這就是插值過程的用武之地。

　　插值估計每個新像素要顯示什么內(nèi)容，這個過程是基于它們周邊的像素。對于這一點，有許多方法可以來衡量。

　　最近鄰 (Nearest Neighbor)方法，會簡單地用與其最近鄰相同的顏色填充空白像素。它雖然簡單而有效，但結(jié)果是一個鋸齒狀、明顯像素化的圖像。

　　雙線性插值 (Bilinear Interpolation)方法需要更多的處理能力，但它基于最近的兩個像素來分析空白像素，并在它們之間生成一個梯度，這會讓圖像變得更加清晰。

　　而雙三次插值 (Bicubic Interpolation)會對其 16 個最近鄰像素進(jìn)行了采樣，這樣就會讓著色變得精確，但仍然存在圖像模糊的問題。

　　通過結(jié)合雙線性插值和雙三次插值，就可以生成光學(xué)質(zhì)量損失最小的放大圖像。

　　而這一過程，Gigapixel AI 利用深度卷積神經(jīng)網(wǎng)絡(luò)來完成。正如產(chǎn)品頁面介紹的那樣：

神經(jīng)網(wǎng)絡(luò)分析成千上萬對照片，了解圖像細(xì)節(jié)是如何丟失的。算法會根據(jù)所學(xué)知識在新圖像中填充信息，有效地為照片添加新細(xì)節(jié)。

　　解決了像素低的問題，還需要解決視頻卡頓問題。

　　Gigapixel AI 在關(guān)鍵幀之間進(jìn)行“想像”之后，把這些想像出來的幀插進(jìn)去。

　　而它插入的幀數(shù)多到可以讓視頻速率提高到60 FPS。

　　這就是古董電影也能變得如此清晰、流暢的原因。

　　黑白變彩色

　　雖然 Shiryaev 的視頻中，只是提高了老電影的清晰度和流暢度，但也有網(wǎng)友在此基礎(chǔ)上做了進(jìn)一步的工作——著色。

　　同樣是利用神經(jīng)網(wǎng)絡(luò)，從一堆彩色照片開始，將它們轉(zhuǎn)換成黑色和白色，然后再重建彩色原圖。

　　網(wǎng)友就把 Shiryaev 的視頻放到了這樣的安卓程序中，給這個黑白電影著色。

　　可以看到，AI 正確的判斷出了樹木是綠色，砂石是棕色，以及路人衣服的顏色。

　　當(dāng)然，這位網(wǎng)友也表示，希望看到更好的著色技術(shù)讓這部經(jīng)典的古董電影煥發(fā)新生命。

　　那么，你想試試嗎？

　　博主簡介

Denis Shiryaev

　　Denis Shiryaev 出生于 1988 年 6 月 28 日，俄羅斯人。

　　曾在Комитет公司和 Futurico 公司擔(dān)任產(chǎn)品經(jīng)理，也在 Merck KGaA 和 Bellerage Vostok 兩家商店擔(dān)任系統(tǒng)管理員。

　　傳送門

　　博客：

　　https://arstechnica.com/science/2020/02/someone-used-neural-networks-to-upscale-a-famous-1896-video-to-4k-quality/

　　https://www.engadget.com/2020/02/04/how-ai-helped-upscale-an-antique-1896-film-to-4k/

　　視頻地址：

　　https://www.youtube.com/watch?v=3RYNThid23g&feature=emb_logo

總結(jié)

以上是生活随笔為你收集整理的百年古董电影秒变4K高清、60FPS，AI插值，还能着色的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。