? ESPCN是twitter2017年提出來的實時視頻超分辨率的方法。下面記錄下對論文的一些理解。

?

上面這張圖就是整個網絡的架構。輸入t幀的相鄰圖像，t-1和t+1，在具體的網絡中，有輸入連續3張，5張，7張和9張的，在論文中有分析這個對具體效果的影響，這邊是以3張為例。逐像素計算t-1和t幀的lr的圖像的位移（通過一個motion estimation的網絡），然后將這個位移apply在t-1的lr圖像上面，得到warp過的t-1圖像。將warp過的t-1/t+1和t圖像一起輸入一個時空網絡，得到最終的單張t幀的SR圖像。

所以主要網絡是兩個，一個motion estimation一個spatio-temporal。

先介紹motion estimation。

?

這個分兩步去做，一個先做coarse?的flow預測，再做fine flow的預測，這樣可以使用小的計算量計算更大的位移。這也是在video SR中常用的做法。

再介紹一下另一個重要的時空網絡。

時空網絡要做的事情是這樣的，把幾張不同幀的LR圖像合成一張SR，所以既有時間上的融合也有空間上的插值。

上圖介紹了幾種常用的時空網絡

a) early fusion?

將輸入的n張圖片concat起來然后用一個n channel的filter去做卷積，這樣就把所有的圖片在第一layer就融合起來了

b) slow fusion

在第一層的時候不融合所有的圖片，比如圖中所示，每層只融合相鄰的2幀，這就是slow fusion

c) 3D convolution

我們將第一個卷積層的第一個輸出feature map放大來看，會發現其實每一個channel都是兩個相鄰幀得到的

?

等價于下面我們常見的3D卷積。

?這里，3D conv可以看做是slow fusion的權值共享的版本，只不過是在temporal和空域上swap了一下，稍微解釋一下。

3D convolution的第一層的第一個feature map，可以看做是slow fusion的第一層的所有feature map的channel 1concat起來的。所不同的是，需要slow fusion中的同一層的weight要一樣（即權值共享）。這種權值共享的slow fusion一大好處就是計算力比較省，因為可以復用之前的結果。比如t+2 t+1 t t-1 t-2和t+1 t t-1 t-2 t-3其實中間有一些結果是可以復用的。

具體的結果和分析可以去看論文。?

Real-Time Video Super-Resolution with Spatio-Temporal Networks and Motion Compensation (CVPR 2017)
See https://arxiv.org/abs/1611.05250

轉載于:https://www.cnblogs.com/sunny-li/p/11033140.html

總結

以上是生活随笔為你收集整理的[video super resolution] ESPCN论文笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。