一段 AI 修復的視頻，讓我們體驗了一把 100 年前的老北京。小販叫‍賣‍、馬車過街，修復后的視頻可以清楚地展現熙熙攘攘的市井生活，作揖問候的場景也清晰可見。你能想象，這些生動展現百年前國民生活的彩色影像，是使用人工智能技術修復的嗎？近日，這段使用人工智能修復老北京影像的視頻在 B 站和微博上火了，引起了極大的關注。

　　僅在 B 站上，阿婆主“大谷的游戲創作小屋”上傳的這個舊影像修復視頻已經獲得 61.9 萬的播放量、4.9 萬點贊。

　　網友們紛紛感嘆“厲害”，視頻“清晰連貫”，“讓我們看到了 100 年前的 vlog”。

　　視頻中，阿婆主使用人工智能技術，對民國初年的一段影像進行了上色、修復幀率和擴大分辨率的改動，從而徹底改變了這段 100 年前老舊影片，讓我們能夠更為細致地觀看 100 年前人們的生活。

　　與舊影像對比之后，我們能夠對修復效果有更為直觀的感受。

　　視頻修復前后在色彩、清晰度方面都有了很大的提升，修復前灰蒙蒙，修復后色彩鮮艷。

　　那么從技術層面上看，究竟是如何做到這么驚艷的效果的呢？阿婆主表示，他也是參考了海外 YouTube 博主 Denis Shiryae 的影像修復教程。

　　影像修復三大步驟

　　今年年初，Denis 修復 1896 年經典電影的視頻也在海外火了一把。

　　電影界最著名的短片之一是 1896 年的一部無聲電影《L’Arrivée d’un train en gare de La Ciotat》，畫面很簡單，只有 50 秒，描述的是一列火車駛入車站的場景。Denis 正式對這個經典的短片進行了 AI 修復，效果非常不錯。下圖可以看出修復前后畫面的強烈對比：

　　從 Denis 的網頁介紹，我們可以看到整個修復過程主要針對三個核心點：4K 分辨率以及 60fps 的幀數，除此之外還增加了背景顏色和聲音的效果。

　　DAIN 插幀技術

　　在增加 FPS 方面，Denis 表示他主要應用了由上海交大 Bao Wenbo 等人提出的 DAIN 插幀技術（參見論文《Depth-Aware Video Frame Interpolation》）。

　　這項研究提出通過探索插幀中的 depth cue，來顯式地檢測遮擋。

　　研究者開發了一個深度感知的光流投影層來合成中間流（中間流傾向于對距離較近的對象進行采樣），并學習層級特征作為語境信息。然后，該模型基于光流和局部插值 kernel 將輸入幀、深度圖和語境特征進行變形處理，最后合成輸出幀。

　　DAIN 模型的架構如下圖所示：

　　DAIN 架構圖。給出兩個輸入幀，DAIN 首先估計其光流和深度圖，并使用深度感知光流投影層來生成中間流；然后采用自適應變形層（adaptive warping layer），基于光流和空間變化的插值 kernel 對輸入幀、深度圖和語境特征進行變形處理；最后，使用幀合成網絡生成輸出幀。

　　4K 分辨率

　　自從 1998 年第一臺高清電視投入市場以來，“高清”一直是技術追逐的方向之一。簡單羅列幾個數字，老式標清電視的分辨率僅為 720x480，也就是說一次可顯示的內容為 345,600 像素。高清電視的分辨率為 1920x1080，總像素為 2,073,600，是標清的 6 倍，而 4K 的 3840×2160 分辨率則需要 8294,400 像素。

　　簡單而言，視頻修復過程至少需要額外填充 600 萬像素來適應 4K 高清分辨率，而這種 “插值” 過程正是 AI 技術的用武之地，所補充顯示的內容皆是基于相鄰周邊像素所呈現的內容。“插值”過程本質上是一種猜謎游戲，如果讓卷積神經網絡這類 AI 技術去發號施令的話會有更優質的反饋效果。

　　在此展示中，Denis 通過 Gigapixel AI 軟件將分辨率提升至 4K，該產品由 Topaz Labs 開發，目前已進入到成熟的商業階段。研發之初是為了幫助攝影師在不丟失任何細節的情況下將照片質量提升 6 倍，將該技術產品化的過程中發現將其應用至視頻是完全可行的。不過值得一提是，渲染幾秒鐘的視頻可能需要幾個小時的處理時間，感興趣的朋友可以一試。

　　DeOldify 著色模型

　　而在著色上，相信社區的大部分讀者都知道一個基于 GAN 的圖像著色模型 DeOldify。通過下面的對比圖，我們可以看到該模型的效果。

　　DeOldify 基于生成對抗網絡，由深度學習研究員 Jason Antic 開發并維護。自從 2018 年項目開啟以來，DeOldify 已經進行了多次迭代。

　　數字修復中的 AI 技術應用要比想像的多

　　上述圖像分辨率補充、FPS 提升、色彩填充是數字修復大方向下的三個子環節，而整個影像修復技術處處可見人工智能的身影。

　　以圖像修復為例，一般步驟為：輸入圖像，檢測畫面信息及獲得畫面所有像素并識別受損區域，計算受損區域的像素點優先項，確定優先項最高的為待修復像素塊，計算源區域中的匹配塊與待修復區域的誤差，確定誤差值最小的為最佳匹配，進行填充和修復，檢測損傷區域是否全部修復，若已修復則輸出圖像。

　　來自機器之心 pro

　　而對視頻修復而言，它是基于圖像修復演變而來的，也同樣是逐幀修復，所以其流程與圖像修復類似。

　　至于圖像分辨率提升環節，Denis 通過 Gigapixel AI 軟件進行處理。而實際情況中圖像分辨率提升以及圖像超分辨率的解決涉及到許多技術細節，如圖像配準、圖像分割、圖像壓縮、圖像特征提取、圖像質量評估等等。而這些子方向的研究在各大 AI 學術頂會上頻頻可見。類似地，通過機器學習方法從訓練樣本集中提取視頻中的高頻信息模型，從而對填充所需信息進行合理預測，達到提升視頻圖像分辨率的目的，這樣相似的思路層出不窮。

　　從應用方面來看，高清設備的普及使得對早期的游戲及電影進行重制成為一大需求，圖像修復，圖像超分辨率等眾多修復技術的發展也為該市場提供了一個可持續的解決思路。

　　最后，在了解完修復舊影像背后的技術后，感興趣的讀者也可以嘗試下。說不定，你也能在 B 站、抖音上火一把。

總結

以上是生活随笔為你收集整理的不用穿越，也能体验百年前的老北京，这个AI修复视频火爆全网的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。