前言：ABME發(fā)表在ICCV2021，也是一篇基于光流做插幀的文章
論文地址：【here】
代碼：【here】

Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

引言

大多數(shù)插幀的方法都是基于光流
光流方法又可以分為前向流方法和后向流
前向流方便求得,但是容易造成空洞和重疊
后向流由于中間幀的缺失，大多方法采用近似的辦法，但是近似會(huì)造成誤差
這篇文章利用光流，提出了一個(gè)不對(duì)稱的光流算法，
首先, 用對(duì)稱流求得中間的錨定幀
其次，利用錨定幀求出兩邊的不對(duì)稱光流
最后，利用對(duì)稱的光流和不對(duì)稱的光流，得到最后的插幀圖像

網(wǎng)絡(luò)架構(gòu)

從左至右分別是

• 對(duì)稱雙邊光流估計(jì)
• 錨定幀生成
• 不對(duì)稱的光流估計(jì)網(wǎng)絡(luò)ABMRnet
• 幀合成網(wǎng)絡(luò)

對(duì)稱雙邊光流估計(jì)

用BMBE的方法，求得對(duì)稱后向流

錨定幀生成

在原有的后向流合成公式中

加入帶有遮擋的mask

不對(duì)稱的光流估計(jì)網(wǎng)絡(luò)ABMRnet

網(wǎng)絡(luò)如下

修改自PWC，其中也加了Mask 和offsetmap來(lái)對(duì)遮擋進(jìn)行處理

幀合成網(wǎng)絡(luò)

左右兩邊兩張圖和對(duì)應(yīng)的對(duì)稱的不對(duì)稱的后向流輸入，并warp，兩邊的網(wǎng)絡(luò)共享權(quán)重
中間的網(wǎng)絡(luò)主要為兩部分 ，filternet和refinenet
這兩個(gè)的網(wǎng)絡(luò)結(jié)構(gòu)都來(lái)自Gridnet，用于處理不同尺度的輸入的融合問(wèn)題

其中 filternet采用動(dòng)態(tài)局部卷積lareral block
refinenet用于生成殘差來(lái)優(yōu)化結(jié)果

實(shí)驗(yàn)結(jié)果

可見要比BMBC效果好，參數(shù)量也更小

總結(jié)：這篇文章里的第二章有很詳細(xì)的對(duì)前向warping和后向warping的總結(jié)歸納，在有的之前的文章這一塊是略過(guò)的，還是講的很清晰，但是還是覺得網(wǎng)絡(luò)設(shè)計(jì)得有些復(fù)雜了，設(shè)計(jì)和沿用了很多新的模塊

總結(jié)

以上是生活随笔為你收集整理的论文阅读 | Asymmetric Bilateral Motion Estimation for Video Frame Interpolation的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。