相關(guān)方法

單階段、多階段、注意力

方法

將圖像分割為不重疊的patches：四個(gè)用于第一階段，兩個(gè)用于第二階段，原始圖像用于最后一階段。殘差學(xué)習(xí)：$X_S=I+R_S$，損失函數(shù)為$$\mathcal{L}=\sum _{S=1}^3\left[{\mathcal{L}}_{char}\left({\mathbf{X}}_S,\mathbf{Y}\right)+\lambda {\mathcal{L}}_{edge}\left({\mathbf{X}}_S,\mathbf{Y}\right)\right]$$

編碼-解碼子網(wǎng)絡(luò)：首先，我們添加通道注意塊(CAB)以提取每個(gè)尺度的特征。其次，U-Net Skip連接處的特征圖也會(huì)通過(guò)CAB進(jìn)行處理。最后，我們沒(méi)有使用轉(zhuǎn)置卷積來(lái)提高解碼器中特征的空間分辨率，而是在卷積層之后使用雙線(xiàn)性上采樣。這有助于減少輸出圖像中因轉(zhuǎn)置卷積而產(chǎn)生的棋盤(pán)效應(yīng)。

CAB結(jié)構(gòu)如下：
在最后一階段引入了原始分辨率子網(wǎng)絡(luò)(ORSNet)。ORSNet不采用任何下采樣操作，并生成空間豐富的高分辨率特征。它由多個(gè)原始分辨率塊(ORB)組成，每個(gè)原始分辨率塊還包含CAB。ORB的結(jié)構(gòu)如下：
交叉階段的特征融合：我們?cè)趦蓚€(gè)編碼器-解碼器之間以及編碼器-解碼器和ORSNet之間引入了CSFF模塊。請(qǐng)注意，一個(gè)階段的特征首先用1×1卷積進(jìn)行細(xì)化，然后再傳播到下一階段進(jìn)行聚合。CSFF有幾個(gè)優(yōu)點(diǎn)。首先，由于在編碼器-解碼器中重復(fù)使用上下采樣操作，使得網(wǎng)絡(luò)不易受到信息丟失的影響。第二，一個(gè)階段的多尺度特征有助于豐富下一階段的特征。第三，網(wǎng)絡(luò)優(yōu)化過(guò)程變得更加穩(wěn)定，因?yàn)樗?jiǎn)化了信息流，從而允許我們?cè)诳傮w架構(gòu)中添加幾個(gè)階段。
在每?jī)蓚€(gè)階段之間引入一個(gè)監(jiān)督注意力模塊，這有助于實(shí)現(xiàn)顯著的性能提升。首先，它提供了對(duì)每個(gè)階段的漸進(jìn)式圖像恢復(fù)有用的地面真實(shí)監(jiān)控信號(hào)。其次，在局部監(jiān)督預(yù)測(cè)的幫助下，我們生成注意力圖來(lái)抑制當(dāng)前階段信息量較小的特征，只允許有用的特征傳播到下一階段。
SAM接受早期階段的特征$F_{in}\in R^{H\times W\times C}$，首先使用一個(gè)簡(jiǎn)單的1×1卷積生成殘差圖像$R_S\in R^{H\times W\times 3}$。將殘差圖像添加到降級(jí)的輸入圖像$I$以獲得恢復(fù)的圖像$X_S\in R^{H\times W\times 3}$。對(duì)于這個(gè)預(yù)測(cè)圖像$X_S$，我們用地面真實(shí)圖像(GT)提供明確的監(jiān)督。接下來(lái)，每(per)像素的注意力Masks $M\in R^{H\times W\times C}$由圖像$X_S$使用1×1卷積和Sigmoid激活生成。然后，這些Masks用于重新校準(zhǔn)變換后的局部特征$F_{in}$(在1×1卷積后獲得)，從而產(chǎn)生被添加到恒等映射路徑的注意力引導(dǎo)特征。最后，SAM生成的注意力增強(qiáng)特征表示$F_{out}$被傳遞到下一階段進(jìn)行進(jìn)一步處理。

實(shí)驗(yàn)設(shè)置

消融實(shí)驗(yàn)：

代碼

https://github.com/swz30/MPRNet

總結(jié)

以上是生活随笔為你收集整理的论文笔记：MPRNet: Multi-Stage Progressive Image Restoration的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。