時(shí)空超分辨論文閱讀筆記（一）---- Zooming Slow-Mo

CVPR 2020

論文地址：https://arxiv.org/abs/2002.11616
代碼地址：https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020

目錄

• • 時(shí)空超分辨論文閱讀筆記（一）---- Zooming Slow-Mo
  • • Abstract
    • 模型設(shè)計(jì)
    • • • 1. 模型主要由四個(gè)部分組成：
        • 2.主要模塊
        • • 2.1 中間幀特征插值模塊
          • 2.2 Deformable ConvLSTM
          • 2.3 幀重建模塊
        • 3.一些參數(shù)設(shè)置
    • 實(shí)驗(yàn)部分

Abstract

關(guān)于時(shí)空超分辨（STVSR）模型的設(shè)計(jì)策略：

• 二階段模型（two-stage）
• 一階段模型（one-stage）

模型設(shè)計(jì)

圖1 模型結(jié)構(gòu)圖

1. 模型主要由四個(gè)部分組成：

• 特征提取模塊（feature extractor）

  ? 該模塊由一個(gè)Conv layer + $k_1$個(gè)殘差塊組成，負(fù)責(zé)提取輸入幀特征。

• 中間幀特征插值模塊（frame feature temporal interpolation module）

  ? 該模塊根據(jù)輸入的特征序列信息$\{F_{2t?1}^L{\}}_{t=1}^{n+1}$，預(yù)測輸出中間幀序列的特征$\{F_{2t}^L{\}}_{t=1}^n$。

• Deformable ConvLSTM

  ? 該模塊則是對整個(gè)特征序列進(jìn)行一個(gè)時(shí)間對齊和特征聚合 。

• 高分辨率幀重建模塊（HR frame reconstructor）

  ? 利用經(jīng)過時(shí)空融合后的特征序列生成最后的高清高分辨視頻序列

2.主要模塊

2.1 中間幀特征插值模塊

? 二階段方法（VFI+VSR）中往往是在像素級（pixel-wise）上先生成中間幀，然后對插幀后的序列進(jìn)行超分辨，為了以one-stage的方式完成插幀和超分，該模塊對輸入幀特征進(jìn)行采樣融合來生成中間幀特征。根據(jù)插幀的經(jīng)驗(yàn)，要生成中間幀特征，需要利用上下文特征間的雙向運(yùn)動(dòng)信息來近似估計(jì)兩側(cè)到中間的運(yùn)動(dòng)信息（forward motion information and backwarp motion information），然后再進(jìn)一步融合這兩側(cè)運(yùn)動(dòng)信息和上下文特征從而生成中間幀特征。

? 至于如何估計(jì)上下文特征間的雙向運(yùn)動(dòng)信息，該模塊采用了可變形卷積，認(rèn)為其不規(guī)則的采樣區(qū)域，具備比較強(qiáng)大的對幾何物體運(yùn)動(dòng)建模的能力，能夠從上下文特征中捕捉比較豐富的運(yùn)動(dòng)信息，以更好應(yīng)對包含復(fù)雜運(yùn)動(dòng)和大幅運(yùn)動(dòng)的視頻場景，運(yùn)動(dòng)信息估計(jì)模塊如下圖所示：

圖2 可變形卷積估計(jì)運(yùn)動(dòng)信息近似生成中間特征

? 值得注意的是這里的blending操作采用的是簡單的線性混合函數(shù)來結(jié)合$T_1$以及$T_3$，具體公式如下：
$$F_2^L=\alpha ?T_1(F_1^L,{\Phi }_1)+\beta ?T_3(F_3^L,{\Phi }_3)$$
其中，$\alpha 和\beta$ 指的是兩個(gè)1x1的卷積核，而$?$則代表的是卷積操作。

2.2 Deformable ConvLSTM

? 生成完整的視頻幀特征序列$\{F_t^L{\}}_{t=1}^{2n+1}$ 后，就需要利用該特征序列來生成HR Frames。顯然，對于整個(gè)序列來說，時(shí)間信息是非常重要的，且為了保證生成HR video的時(shí)間一致性，需要有效利用序列所隱藏的幀間信息。這篇工作，則考慮使用ConvLSTM來在序列間傳播時(shí)間信息，同LSTM一樣，ConvLSTM通過融合前面?zhèn)鬟f到當(dāng)前時(shí)間步t的隱藏狀態(tài)$h_{t?1}$，記憶狀態(tài)$c_{t?1}$和時(shí)間步t的特征，輸出$h_t$和$c_t$然后繼續(xù)向下傳播時(shí)間信息，大致公式如下所示：
$$h_t,c_t=ConvLSTM(h_{t?1},c_{t?1},F_t^L)$$
? $h_{t?1}$ 以及 $c_{t?1}$ 就是t之前序列的時(shí)間信息，得益于記憶狀態(tài)$c$，ConvLSTM具有長期記憶的能力, 而利用Conv來捕捉t時(shí)刻的特征與其之前狀態(tài)的一個(gè)運(yùn)動(dòng)信息，但是由于卷積時(shí)的感受野比較小，所以ConvLSTM處理大幅運(yùn)動(dòng)的能力有限，而這會(huì)導(dǎo)致錯(cuò)誤信息的不斷傳播和累積。

? 為了更好處理大幅運(yùn)動(dòng)的視頻，這篇工作在ConvLSTM中嵌入了可變形卷積操作，利用可變形卷積分別捕捉$$[h_{t?1},F_t^L]$$ 和 $$c_{t?1},F_t^L]$$之間的運(yùn)行信息并實(shí)現(xiàn)時(shí)間上的對齊，得到$[h_{t?1}^a,c_{t?1}^a]$ ,然后再利用ConvLSTM繼續(xù)進(jìn)行時(shí)間信息的聚集和特征融合，并向下傳播，過程的示意圖如下所示：

圖3 嵌入可變形卷積的ConvLSTM

? 同時(shí)，為了更好利用全局的時(shí)間信息，實(shí)際上使用了雙向的可變形 ConvLSTM（Bidirectional Deformable ConvLSTM）,生成融合了過去和未來信息的特征序列$\{h_t{\}}_t^{2n+1}$。

2.3 幀重建模塊

? 幀重建模塊則是使用了一個(gè)時(shí)間共享的合成網(wǎng)絡(luò)，輸入當(dāng)個(gè)時(shí)間步的隱藏狀態(tài)$h_t$，然后輸出對應(yīng)的HR frame，具體來說就是使用了$k_2$個(gè)殘差塊提取深度特征信息，然后通過亞像素卷積（sub-pixel）+PixelShuffle重建出HR frames $\{I_t^t{\}}_{t=1}^{2n+1}$。重建損失函數(shù)如下：
$$l_{rec}=\sqrt{||I^G{T}_t?I_t^H|{|}^2+{?}^2}$$
? ${?}^2$是一個(gè)經(jīng)驗(yàn)值，設(shè)置為1e-3，為了保證訓(xùn)練的穩(wěn)定性（我認(rèn)為：數(shù)值穩(wěn)定---->訓(xùn)練穩(wěn)定）

3.一些參數(shù)設(shè)置

• k1=5，k2=40（5個(gè)殘差塊用于feature extractor，40個(gè)殘差塊用于幀重建部分）

• 將連續(xù)的4個(gè)奇數(shù)幀，通過隨機(jī)裁剪成32x32的patches作為輸入

• VSR的倍數(shù)設(shè)置為x4

• 數(shù)據(jù)增強(qiáng)（隨機(jī)旋轉(zhuǎn)$90^{。}，180^{。}，270^{。}$以及水平翻轉(zhuǎn)）

• Adam optimizer

• 從4e-4開始到1e-7,對每個(gè)batch使用余弦退火（cosine annealing）。

• batch = 24

實(shí)驗(yàn)部分

表1 各算法性能比較

和其他的二階段方法（由VFI和VSR中的SOTA模型組合完成）比起來，Zooming Slow-Mo在評估集上的表現(xiàn)都更好，并且由于是一階段模型，模型的參數(shù)量比較小，且推理速度比起其他模型都要快得多。（TiTan XP Vid4上測試）

總結(jié)

以上是生活随笔為你收集整理的时空超分辨论文阅读笔记（一）---- Zooming Slow-Mo的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。