本篇博客記錄一下最近看的一篇KITTI2015上排名第二的網絡結構iResNet-i2e2

---

• 一 論文貢獻
• 二 基礎知識
  • a 貝葉斯推導
  • b 概念解釋
• 三 iResNet-i2e2的網絡結構
  • 1 組成
  • 2 網絡架構
    • a 莖塊多尺度特征提取
    • b 初始化視差估計子網絡
    • c 視差優化子網絡
    • d 迭代優化
  • 3 網絡體系結構

一 、論文貢獻

論文中和前期網絡最大的不同點在于：已存在的方法是使用多網絡任務去完成立體匹配中的不同的步驟

在該論文中，總結了三個貢獻：

• 將立體匹配的四個步驟都集成到了一個網絡中，這樣有效的提高了精確度和其效率；
• 將視差優化構想為使用特征穩定性來進行貝葉斯推理的過程；
• 在KITTI的基準上實現了最先進技術的表現。

如果有看過CRL網絡結構的博友會發現，iResNet-i2e2網絡中視差優化部分是生成一個殘差，將該殘差與初始化視差相加得到最終的視差圖，其實這個大的思路和CRL是相近的，CRL利用DispFullNet產生初始化視差，然后通過DispResNet產生殘差，兩者相加的結果作為最后的視差圖。但是很大的不同在于，CRL是兩個網絡，而iResNet-i2e2中僅有一個單獨的網絡；而且兩者對殘差的計算方式不同。

二 、基礎知識

a. 貝葉斯推導

貝葉斯公式是建立在條件概率的基礎上尋找事件發生的原因（即大事件A已經發生的條件下，分割中的小事件Bi的概率），設B1,B2,…是樣本空間Ω的一個劃分，則對任一事件A（P(A)>0),有

上式即為貝葉斯公式（Bayes formula)，Bi 常被視為導致試驗結果A發生的”原因“，P(Bi)(i=1,2,…)表示各種原因發生的可能性大小，故稱先驗概率；P(Bi|A)(i=1,2…)則反映當試驗產生了結果A之后，再對各種原因概率的新認識，稱為后驗概率。

b. 概念解釋

feature constancy 特征不變性

在特征空間中兩個像素的對應關系

prior disparity 先驗視差

將初始化的視差作為貝葉斯推導中的先驗

the posterior feature constancy 后驗特征不變性

特征空間中重建誤差被看作是基于初始視差的后驗特征不變性

the prior feature constancy 先驗特征不變性

從左、右圖中提取的特征之間的相關性被視為先驗特征不變

三 、 iResNet-i2e2的網絡結構

1、 組成

主要分為三個部分　

計算多尺度的共享特征；

執行匹配代價計算、代價聚合、和視差計算，利用共享特征估計初始化視差；

將初始視差、先驗特征和后驗特征的穩定性引入一個子網絡，通過貝葉斯推到過程細化初始視差。

2、 網絡架構

下圖是網絡框架

a. 莖塊——多尺度特征提取

• 這個塊的輸出結果可以劃分成三個類型：
  a.第二個卷積層conv2a/conv2b的輸出——捕捉兩幅圖像之間總體的、粗略的對應關系；被第一個子網絡用于視差估計
  b.第一個卷積層conv1a/conv1b的輸出——捕捉兩幅圖像之間短程的、細密的對應關系；該特征充當了第二個子網絡所使用的先驗特征不變性
  c.多尺度融合特征up_conv1a/up_conv1b——用于計算第二個子網絡的后驗特征不變性

b. 初始化視差估計子網絡

• 子網絡的輸入是上一部分中的第二個卷積層conv2a/conv2b的輸出；輸出是視差圖；中間過程是通過一個編碼-解碼結構完成的（這一點和FlowNet、DispNet相似）。
• 在計算匹配代價的時候，其精度和效率之間存在一個權衡關系：如果利用高層特征來計算匹配代價，會丟失很多細節，一些很相似的對應關系不能被區分；相反，如果利用低層特征來計算，因為特征圖很大，所以計算成本很高，不過感受野很小，以至于捕獲更魯棒的特征。
  -skip connection：利用ResNet中的短路思想，其作用是結合低層次特征(通常包含了位置信息)和高層次特征(包含語義信息)，因為經過一些卷積層后，feature map里面都是一些高層的特征，丟失了一些細節，加入skip connection可以使得最終的結果加入一些細節（低層特征）。最后會發現提取的特征中包含了更多的信息，使得模型更加魯棒。

c. 視差優化子網絡

• 前面的網絡的輸出是初始化的視差圖，但是這個視差圖并布不能作為最終的輸出，原因在于初始化的視差圖還面臨一些深度不連續以及異常值的挑戰。所以需要再進一步的進行視差估計。
• 前面提到過在本論文中，將視差優化的任務當作是貝葉斯推理過程。公式為
  
• 將視差估計子網絡產生的初始化視差放發票視差優化子網絡中，會估計這個初始化視差的殘差。
• 最終的視差圖是=初始化視差+殘差

d. 迭代優化

• 這個過程重復執行，直到相鄰兩次迭代之間的改進很小。值得注意的是：隨著迭代次數的增加，改進減小。

3、 網絡體系結構

下圖是網絡體系構

• 解釋一下咱們開始的時候說這個網絡結構是iResNet-i1e2，其中i2表示的是迭代的去優化視差兩次，e2指的是將輸入圖像放大兩倍。

本博客只是對論文的初步理解，后期還會再跟進。

總結

以上是生活随笔為你收集整理的论文阅读笔记之《Learning Deep Correspondence through Prior and Posterior Feature Constancy》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。