Learning with Privileged Information for Efficient Image Super-Resolution，ECCV2020

作者信息：

Paper：

Learning with Privileged Information for Efficient Image Super-Resolution?arxiv.org

Code：

cvlab-yonsei/PISR?github.com

本文亮點：（1）提出了一個新的適用于SR的蒸餾結構，首次使用蒸餾方法來改進超分模型的效果而且work。（2）作者拿FSRCNN來蒸餾展示效果，蒸餾后的模型效果雖不如近幾年的模型（FSRCNN有點老），但內存使用和推理速度要比近幾年的模型好1-2個數量級（見下圖）。

蒸餾架構

本文蒸餾結構(細節圖)

新老蒸餾結構對比

蒸餾架構上，可以看到有兩個改動：

（1）將HR（GT）作為privileged knowledge，而不是只在最后跟老師、學生模型的輸出進行監督。這個改動有效嗎？如下圖，相對于LR圖(藍線)，compact feature（橙線與綠線）含有更多高頻信息，更能提升老師模型的效果。

同時，compact feature是HR經過encode得到的，分布肯定跟真的LR圖有gap，所以用LR圖引導它一下是比較自然的想法。如下下圖，加了LR引導的這個loss后(橙色)會更趨近于LR分布(藍色)。

不同信息源的分布

（2）Teacher模型設計成了AE的結構，Encoder將HR圖轉為Compact Feature（即預測的LR圖），這一步有LR的GT作為監督。Decoder將Compact feature（與LR shape一致）轉為HR，注意老師的Decoder結構和學生模型結構是完全一樣的，這是為了減少老師與學生模型之間的gap，能提升知識遷移的效果，而且訓練好的老師Decoder可以直接作為學生model的初始化。

看看損失

Loss

Loss上，Imitation loss和Reconstruction loss都是由GT引導的L1，新鮮的是Distillation loss，是用互信息（mutual information）來度量和優化老師->學生的知識損失的：如下式，fT和fS分別是師生的feature map，H指entropy。

具體怎么優化？作者使用了variational的極大化信息優化方法，使用拉普拉斯分布來建模條件概率

，實現上是用MLP計算這個分布的倆參數μ、b，μ和b分別是location和scale。

如下式，Distillation loss分兩項，第二項中，

表征的就是老師feature map與location map的距離，b控制蒸餾的extent，假如蒸餾沒有使得學生模型得到效果提升，b就會增大減弱蒸餾；而式子第一項就是約束b防止把它優化的太大的。

蒸餾損失

總結

原SR模型，也就是蒸餾的對象是選的是FSRCNN,ECCV (2016)，選這個較久遠且效果差一些但是推理快、占內存少的模型的原因，個人認為是：通過增強這樣一個對移動設備友好、對硬件友好的模型能進一步體現自己文章的實用價值。

文章的主要價值還是在于首次提出的這個蒸餾架構在超分任務上work，而且有通用性，可見下圖，其他幾個模型經蒸餾后效果都有提升。

經過蒸餾視覺效果也有提升。上圖中第一列是GT，第三、四列分別是蒸餾前后的超分結果，可發現不同的模型蒸餾后視覺效果都有提升。

感謝閱讀

Reference：

部分想法受啟發于@小小奧列夫的專欄 https://zhuanlan.zhihu.com/p/161103945

總結

以上是生活随笔為你收集整理的架构 encoder_一种新的超分模型蒸馏架构 (ECCV2020)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。