參考博客：
曠視 R TALK：圖像對齊及其應(yīng)用
單應(yīng)性Homograph估計：從傳統(tǒng)算法到深度學習

1. 傳統(tǒng)算法

大致流程：

提取特征點

特征匹配

RANSAC 排除錯誤匹配

求解單應(yīng)性（Homograph）矩陣

難點：

弱紋理、無紋理（特征少，難以提取）

低光圖像、噪聲干擾（特征集中在局部，對齊效果差）

重復紋理（特征匹配容易出錯）

大前景干擾

大視差

深度視差（單應(yīng)性變換本身的局限性）

2. 深度學習算法

2.1 Deep Image Homography Estimation（2016）

論文地址

創(chuàng)新：

• 數(shù)據(jù)集
  

原始圖像取一個矩形區(qū)域 A（藍色框）

對 A 的四個頂點做一定范圍（黃色框）的隨機位移（紅色箭頭）得到一個不規(guī)則區(qū)域（不規(guī)則綠色框）

根據(jù)位移向量可以求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$ 和 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$

對原圖做 ${\mathrm{H}}^{\mathrm{B}\mathrm{A}}$ 變換，得到矩形區(qū)域 B（矩形綠色框）

將 A 和 B 輸入給網(wǎng)絡(luò)求得 ${\mathrm{H}}^{\mathrm{A}\mathrm{B}}$

• 網(wǎng)絡(luò)結(jié)構(gòu)
  
  
  ??直接預測出單應(yīng)性矩陣參數(shù)比較困難，因此網(wǎng)絡(luò)預測的是4個頂點的位移量（右邊回歸網(wǎng)絡(luò)），然后再計算單應(yīng)性矩陣。
  ??文中說沒有置信度會限制一些應(yīng)用，就搞了左邊的分類網(wǎng)絡(luò)，將4個頂點的位移范圍劃分為21個區(qū)間，輸出落在每個區(qū)間的概率值。

優(yōu)點：

對弱紋理和無紋理圖像優(yōu)于傳統(tǒng)算法；

缺點：

訓練數(shù)據(jù)是人工變形得到的，真實世界圖像存在內(nèi)容上差異，導致對真實世界圖像的對齊效果較差；

2.2 Unsupervised Deep Homography: A Fast and Robust Homography Estimation Model（2017）

論文地址
代碼地址

創(chuàng)新：

• 網(wǎng)絡(luò)結(jié)構(gòu)
  
  ??圖(a)為2.1的監(jiān)督算法，圖(b)為傳統(tǒng)算法，圖(c)為此文無監(jiān)督算法。
  ??${\tilde{\mathrm{H}}}_{4\mathrm{p}\mathrm{t}}$ 為預測的4個頂點位移向量，結(jié)合4個頂點的位置坐標 ${\mathrm{C}}_{4\mathrm{p}\mathrm{t}}^{\mathrm{A}}$，通過 Tensor DLT（Direct Linear Transform）得到單應(yīng)性矩陣 $\tilde{\mathrm{H}}$；之后通過空間變換層得到圖像 ${\tilde{\mathrm{P}}}^{\mathrm{B}}$，并與實際圖像 ${\mathrm{P}}^{\mathrm{B}}$ 計算光度損失（像素點間的 L1 損失）。
  ??其中，Tensor DLT（代替 SVD 奇異值分解）和空間變換層都是為了便于梯度計算，使網(wǎng)絡(luò)得以訓練。

優(yōu)點：

相比監(jiān)督算法，對真實世界圖像的對齊效果較好；

對圖像特征的表達比較魯棒，不像傳統(tǒng)方法很依賴特征點；

缺點：

數(shù)據(jù)集主要用的航拍圖像，適合單個單應(yīng)性矩陣做對齊；

深度視差、RANSAC

2.3 Content-Aware Unsupervised Deep Homography Estimation（2019）

論文地址
代碼地址

創(chuàng)新：

• 數(shù)據(jù)集
  
  制作了一套數(shù)據(jù)集分為5大類，并為了量化評估，手工標注了5000張圖像作為ground truth；

• Regular（RE）：紋理豐富，單平面遠景適合用單個單應(yīng)性矩陣對齊
• Low texture（LT）：紋理少
• Low light（LL）：低光圖像
• Small Foregrounds（SF）：小前景
• Large Foreground（LF）：大前景

• 網(wǎng)絡(luò)結(jié)構(gòu)
  
  
  令 $\beta \in \{a,b\}$
  ??此文認為直接用像素值當特征不太好，通過 $f(?)$ 獲取深層特征 $F_{\beta }$，并通過 $m(?)$ 生成 mask $M_{\beta }$。這里的特征和 mask 都和原圖 $I_{\beta }$ 分辨率相同，其中 $m(?)$ 的作用與 RANSAC 相似，生成的 mask 可以看作是特征的權(quán)重，來衡量特征的重要性，從而可以忽略一些干擾的特征（如干擾前景）。$G_{\beta }=F_{\beta }{M}_{\beta }$ 輸入給后續(xù)的單應(yīng)性估計網(wǎng)絡(luò)，同樣預測4個位移向量，并通過一個線性系統(tǒng)得到單應(yīng)性矩陣 ${\mathcal{H}}_{ab}$。

  損失計算：
  $$\underset{m,f,h}{\min }{\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)+{\mathbf{L}}_{\mathbf{n}}\left(I_b^{\prime },I_a\right)?\lambda \mathbf{L}\left(I_a,I_b\right)+\mu {\Vert {\mathcal{H}}_{ab}{\mathcal{H}}_{ba}?\mathcal{I}\Vert }_2^2$$
  其中，
  ${\mathbf{L}}_{\mathbf{n}}\left(I_a^{\prime },I_b\right)=\frac{{\sum }_i{M}_a^{\prime }{M}_b?{\Vert F_a^{\prime }?F_b\Vert }_1}{{\sum }_i{M}_a^{\prime }{M}_b}$，$i$ 表示特征圖和mask中的像素索引

  $\mathbf{L}\left(I_a,I_b\right)={\Vert F_a?F_b\Vert }_1$

  ${\mathcal{H}}_{ba}$ 通過將 $I_a$ 和 $I_b$ 的特征位置互換得到

  ??損失函數(shù)前兩項最小化變換后圖像特征的差異，第三項是為了避免全零解最大化原始圖像特征差異，第四項則是讓兩個單應(yīng)性變換盡可能可逆。
  ??（2021.10.25）后續(xù)發(fā)現(xiàn)提供的代碼用 torch.nn.TripletMarginLoss() 替代了論文描述的損失函數(shù)（TripletMarginLoss解析），基本就是只保留上面損失的1、3項，第4項在 utils.py 里留了個口 getBatchHLoss()；主要問題在于 mask 的訓練，從 loss 分析如果 mask 是全為0那么 loss 會最低，這顯然不對；mask 加入訓練時，github 上說用一個小學習率微調(diào)網(wǎng)絡(luò)，結(jié)合反向傳播和數(shù)據(jù)來看，前景差異大，背景差異小，則 mask 的前景部分會更快地趨向于0，那么 mask 是有效的，但是關(guān)鍵在于這個數(shù)據(jù)集是分割視頻生成的，背景部分差異很小，后面發(fā)現(xiàn)很多對齊用的公開數(shù)據(jù)集即使是背景差異也非常大，這個 mask 的策略基本就是無效的了。

優(yōu)點：

解決 RANSAC 問題，主要避免前景干擾

缺點：

深度視差

2.4 DeepMeshFlow: Content Adaptive Mesh Deformation for Robust Image Registration（2019）

論文地址

Mesh Flow 大致就是把圖像劃分為網(wǎng)格，每個網(wǎng)格對應(yīng)一個單應(yīng)性矩陣，從而適應(yīng)圖像中的不同深度平面來對齊。

創(chuàng)新：

• 網(wǎng)絡(luò)結(jié)構(gòu)
  
  ??ResNet-34 后面連接 $K$ 個分支（$K=3$），每個分支從一個自適應(yīng)池化層開始，并通過卷積層生成一個特定大小的 mesh flow：

  ${\mathcal{M}}_1^{\prime }\to \left(\frac{H_g}{16}+1\right)\times \left(\frac{W_g}{16}+1\right)\times 2=2\times 2\times 2$

  ${\mathcal{M}}_2^{\prime }\to \left(\frac{H_g}{4}+1\right)\times \left(\frac{W_g}{4}+1\right)\times 2=5\times 5\times 2$

  ${\mathcal{M}}_3\to \left(H_g+1\right)\times \left(W_g+1\right)\times 2=17\times 17\times 2$

  然后將粗尺度 ${\mathcal{M}}_1^{\prime }$ 和 ${\mathcal{M}}_2^{\prime }$ 上采樣至 ${\mathcal{M}}_3$ 分辨率，并融合 ${\mathcal{M}}_1$、${\mathcal{M}}_2$、${\mathcal{M}}_3$。

  ??mesh flow 的融合通過一個場景分割網(wǎng)絡(luò)將圖像 $I$ 分割為 $K$ 個類別，輸出大小為 $\left(H_g+1\right)\times \left(W_g+1\right)\times K$，融合方式是直接按分類結(jié)果選擇每個點的位移向量用哪個 mesh flow 的對應(yīng)值，最終得到 ${\mathcal{M}}^{?}$。之后的 loss 計算與 2.3 相同。

優(yōu)點：

解決深度視差問題

2.5 RANSAC-Flow: generic two-stage image alignment（2020 ECCV）

論文地址
代碼地址

論文代碼詳細分析

創(chuàng)新：

• 單應(yīng)性（粗對齊）與光流法（細對齊）結(jié)合
• 迭代方式做對齊

優(yōu)點：

??按論文中的說法，單應(yīng)性對圖像細節(jié)對齊的不好，而光流法對差異較大的圖像無法對齊，而此方法可以對差異大的圖像細節(jié)也對齊好，揚長避短地結(jié)合兩種對齊方法。

細節(jié)對齊效果好

對各種差異很大圖像也能對齊

網(wǎng)絡(luò)基本沒做什么優(yōu)化就有很好的效果（論文只是訓練了細對齊網(wǎng)絡(luò)，粗對齊網(wǎng)絡(luò)直接是遷移過來都不微調(diào)；直接用提供的模型在自己雙目相機采集的小差異數(shù)據(jù)上就有很好的對齊效果）

缺點：

??論文中展示的為相對效果較好（較容易對齊）的結(jié)果，下圖為挑選的幾種不同角度的缺點，由于最終的對齊參數(shù)為一個像素級對齊矩陣，所以主要缺陷還是與光流法類似。

無法判斷需要對齊的部分
??此例，原始圖像為目標圖像右上一小塊區(qū)域，但是算法會盡可能將全圖都對上。

光流法的圖像局部扭曲現(xiàn)象
??像素級對齊通常在低分率的特征圖上做對齊然后插值到原圖的高分辨率，目前判斷扭曲現(xiàn)象是插值造成的。

前景遮擋
??前景遮擋情況下的肉眼觀感很差，存在大面積扭曲，不如 2.3 的效果（無視前景做對齊）。

慢
??1660Ti的筆記本上約10s一對圖像。

2.6 GLU-Net: Global-Local Universal Network for Dense Flow and Correspondences（2020 CVPR）

論文地址
代碼地址

總結(jié)

以上是生活随笔為你收集整理的图像对齐深度学习算法调研的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。