曉查發(fā)自凹非寺
　　量子位報道公眾號QbitAI

　　連手機都開始用上 120 幀的顯示屏，但是網(wǎng)上大部分的視頻居然還是 30 幀。

　　視頻的幀率已經(jīng)遠遠趕不上人民群眾的需求了，所以有不少人都在研究如何把普通視頻變成高幀率視頻。

　　去年，英偉達開源了Super SloMo，從普通的視頻“腦補”出高幀率的畫面，從 30fps 插幀到 240fps，即使放慢 8 倍也不會感到卡頓。

　　最近，來自上海交大的一個新的插幀算法DAIN開源。它比英偉達的算法效果更清晰、幀率更高，可以把 30fps 的進一步插幀到 480fps，這已經(jīng)超過了很多手機的慢動作錄像幀率。

　　更重要的是，英偉達的 Super SloMo 只用在了真實拍攝的視頻上，而這項研究卻可以擴展到常見的任何類型視頻：電影、定格動畫、動漫卡通等等。

連埼玉老師的披風都變得絲滑流暢了

　　如果你覺得上面效果還不夠明顯，可以再看一張。

　　羽毛的擺動是不是變得更流暢自然了？

　　可以想象，如果未來把 DAIN 用于動漫的制作，只要用低幀的動畫就可以生成絲滑的效果，或許能大大減少插畫師的工作。

　　DAIN 的代碼已經(jīng)開源，甚至研究人員還打包了一份Windows 安裝程序，即使沒有任何 AI 基礎的用戶也可以直接拿來用。

　　安裝

　　Windows 系統(tǒng)的用戶有現(xiàn)成的 exe 文件安裝（地址見文末），不過現(xiàn)在仍處于 Alpha 階段，軟件可能存在一定的不穩(wěn)定性。

　　其他平臺的用戶安裝起來也不復雜。

　　首先確保你的 PyTorch 版本不低于 1.0.0，將項目克隆到本地：

git clone https://github.com/baowenbo/DAIN.git

　　安裝 PyTorch 的各個擴展包：

cd DAIN
cd my_package
./build.sh

　　還要安裝英偉達預測光流網(wǎng)絡 PWCNet 的軟件包：

cd ../PWCNet/correlation_package_pytorch1_0
./build.sh

　　由于作者已經(jīng)提供了預訓練模型，我們不必再花費大量精力去訓練。創(chuàng)建目錄 model_weights，并且將預訓練模型的權(quán)重下載到相應的文件夾中：

cd model_weights
wget http://vllab1.ucmerced.edu/~wenbobao/DAIN/best.pth

　　運行命令以下命令，就可以開始給視頻插幀啦！

CUDA_VISIBLE_DEVICES=0 python demo_MiddleBury_slowmotion.py —netName DAIN_slowmotion —time_step 0.25

　　—time_step 之后的參數(shù)就是視頻的放慢倍數(shù)，0.25 代表視頻幀率擴展為原來的 4 倍。如果要生成 8x 和 10x 慢動作，參數(shù)就改成 0.125 和 0.1，依此類推。

　　深度加光流，圖像更清晰

　　之前已經(jīng)有很多給視頻插幀的算法，DAIN 和它們有什么不同呢？

　　DAIN 的全稱是 Depth-Aware Video Frame Interpolation，即深度感知視頻幀插值。

　　視頻幀插值的目的是在原始幀之間合成不存在的幀。但是由于大的物體運動或遮擋，插幀的質(zhì)量通常會比較低。

　　在這篇研究中，研究人員提出了一種通過探索深度信息來檢測遮擋的方法。

　　具體來說，作者開發(fā)了一個深度感知光流投影層來合成中間流，中間流對較遠的對象進行采樣。此外，學習分層功能以從相鄰像素收集上下文信息。

　　上圖是 DAIN 的體系架構(gòu)：給定兩個時刻的輸入幀，先估計光流和深度圖，然后使用建議的深度感知流投影層生成中間流。

　　然后，模型基于光流和局部插值內(nèi)核對輸入幀、深度圖和上下文特征進行扭曲，合成輸出幀。

　　這種模型緊湊、高效且完全可微分。定量和定性的結(jié)果表明，DAIN 在各種數(shù)據(jù)集上均優(yōu)于最新的幀插值方法。

　　作者

　　這篇文章的第一作者 Bao Wenbo，是上海交通大學電子信息與電氣工程學院的博士生。

　　他目前的研究領域集中在圖像/視頻處理，計算機視覺和機器學習。另外在硬件設計、嵌入式系統(tǒng)和并行編程方面也很有經(jīng)驗。

　　傳送門

　　論文地址：

　　https://sites.google.com/view/wenbobao/dain

　　項目地址：

　　https://github.com/baowenbo/DAIN

　　Windows 版軟件下載：

　　https://drive.google.com/file/d/1uuDkF4j4H1AI1ot88XdqzwMdvAPhxKN8/view

總結(jié)

以上是生活随笔為你收集整理的让电影动漫统统变丝滑，480帧也不卡，交大博士生开源插帧软件DAIN的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。