空間變換網(wǎng)絡(luò)（Spatial Transform Networks，STN）

??該網(wǎng)絡(luò)不需要關(guān)鍵點(diǎn)的標(biāo)定，能夠根據(jù)分類或者其它任務(wù)自適應(yīng)地將數(shù)據(jù)進(jìn)行空間變換和對齊（包括平移、縮放、旋轉(zhuǎn)以及其它幾何變換等）。在輸入數(shù)據(jù)在空間差異較大的情況下，這個(gè)網(wǎng)絡(luò)可以加在現(xiàn)有的卷積網(wǎng)絡(luò)中，提高分類的準(zhǔn)確性。
??STN 計(jì)算較快，幾乎沒有增加原有網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間。由于它能夠在訓(xùn)練過程中，學(xué)習(xí)到與任務(wù)相關(guān)的空間變換參數(shù)，因此能夠進(jìn)一步最小化網(wǎng)絡(luò)的損失函數(shù)。STN 不只可以用在輸入的圖像層，也可以加入卷積層或者其它層之后。

總流程

??STN 主要可以分為三個(gè)部分：
??1）localisation network.用來計(jì)算空間變換的參數(shù)θ。
??2) grid generator. 得到input map U∈RH×W×C到 output map 各位置的V∈RH′×W′×C對應(yīng)關(guān)系 Tθ。
??3) sampler. 根據(jù)input map U 和 對應(yīng)關(guān)系 Tθ，生成最終的output map。

??流程圖如圖所示：

1）Localisation Network

??它的作用就是通過一個(gè)子網(wǎng)絡(luò)（全連接或者卷積網(wǎng)，再加一個(gè)回歸層），生成空間變換的參數(shù)θ。
??θ 的形式可以多樣，如需實(shí)現(xiàn)2D仿射變換，θ 就是一個(gè)6維（2x3）向量的輸出。

2）Parameterised Sampling Grid

??假設(shè)U (不局限于輸入圖片，也可以是其它層輸出的feature map)每個(gè)像素的坐標(biāo)為(x_si,y_si)， V 的每個(gè)像素坐標(biāo)為(x_ti,y_ti)，空間變換函數(shù) Tθ 為仿射變換函數(shù)，那么 (x_si,y_si) 和 (x_ti,y_ti) 的對應(yīng)關(guān)系可以寫為：
??(xsi，ysi)=Tθ(Gi)=Aθ(xti，yti)
??當(dāng)然，Aθ也可以有其它形式，如3D仿射變換，透射變換等。

3）Differentiable Image Sampling

??在計(jì)算得到 Tθ 后，就可以由以下公式 U 得到 V 了（省略推導(dǎo)公式若干，只放上最終形式）：
??Vci=∑nH∑mW U_cnm max(0,1?|xsi?m|)max(0,1?|ysi?n|)

總結(jié)

以上是生活随笔為你收集整理的空间变换网络（Spatial Transform Networks，STN）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。