本篇博客記錄一下最近看的一篇KITTI2015上排名第二的網(wǎng)絡(luò)結(jié)構(gòu)iResNet-i2e2

---

• 一 論文貢獻(xiàn)
• 二 基礎(chǔ)知識(shí)
  • a 貝葉斯推導(dǎo)
  • b 概念解釋
• 三 iResNet-i2e2的網(wǎng)絡(luò)結(jié)構(gòu)
  • 1 組成
  • 2 網(wǎng)絡(luò)架構(gòu)
    • a 莖塊多尺度特征提取
    • b 初始化視差估計(jì)子網(wǎng)絡(luò)
    • c 視差優(yōu)化子網(wǎng)絡(luò)
    • d 迭代優(yōu)化
  • 3 網(wǎng)絡(luò)體系結(jié)構(gòu)

一 、論文貢獻(xiàn)

論文中和前期網(wǎng)絡(luò)最大的不同點(diǎn)在于：已存在的方法是使用多網(wǎng)絡(luò)任務(wù)去完成立體匹配中的不同的步驟

在該論文中，總結(jié)了三個(gè)貢獻(xiàn)：

• 將立體匹配的四個(gè)步驟都集成到了一個(gè)網(wǎng)絡(luò)中，這樣有效的提高了精確度和其效率；
• 將視差優(yōu)化構(gòu)想為使用特征穩(wěn)定性來(lái)進(jìn)行貝葉斯推理的過(guò)程；
• 在KITTI的基準(zhǔn)上實(shí)現(xiàn)了最先進(jìn)技術(shù)的表現(xiàn)。

如果有看過(guò)CRL網(wǎng)絡(luò)結(jié)構(gòu)的博友會(huì)發(fā)現(xiàn)，iResNet-i2e2網(wǎng)絡(luò)中視差優(yōu)化部分是生成一個(gè)殘差，將該殘差與初始化視差相加得到最終的視差圖，其實(shí)這個(gè)大的思路和CRL是相近的，CRL利用DispFullNet產(chǎn)生初始化視差，然后通過(guò)DispResNet產(chǎn)生殘差，兩者相加的結(jié)果作為最后的視差圖。但是很大的不同在于，CRL是兩個(gè)網(wǎng)絡(luò)，而iResNet-i2e2中僅有一個(gè)單獨(dú)的網(wǎng)絡(luò)；而且兩者對(duì)殘差的計(jì)算方式不同。

二 、基礎(chǔ)知識(shí)

a. 貝葉斯推導(dǎo)

貝葉斯公式是建立在條件概率的基礎(chǔ)上尋找事件發(fā)生的原因（即大事件A已經(jīng)發(fā)生的條件下，分割中的小事件Bi的概率），設(shè)B1,B2,…是樣本空間Ω的一個(gè)劃分，則對(duì)任一事件A（P(A)>0),有

上式即為貝葉斯公式（Bayes formula)，Bi 常被視為導(dǎo)致試驗(yàn)結(jié)果A發(fā)生的”原因“，P(Bi)(i=1,2,…)表示各種原因發(fā)生的可能性大小，故稱先驗(yàn)概率；P(Bi|A)(i=1,2…)則反映當(dāng)試驗(yàn)產(chǎn)生了結(jié)果A之后，再對(duì)各種原因概率的新認(rèn)識(shí)，稱為后驗(yàn)概率。

b. 概念解釋

feature constancy 特征不變性

在特征空間中兩個(gè)像素的對(duì)應(yīng)關(guān)系

prior disparity 先驗(yàn)視差

將初始化的視差作為貝葉斯推導(dǎo)中的先驗(yàn)

the posterior feature constancy 后驗(yàn)特征不變性

特征空間中重建誤差被看作是基于初始視差的后驗(yàn)特征不變性

the prior feature constancy 先驗(yàn)特征不變性

從左、右圖中提取的特征之間的相關(guān)性被視為先驗(yàn)特征不變

三 、 iResNet-i2e2的網(wǎng)絡(luò)結(jié)構(gòu)

1、 組成

主要分為三個(gè)部分　

計(jì)算多尺度的共享特征；

執(zhí)行匹配代價(jià)計(jì)算、代價(jià)聚合、和視差計(jì)算，利用共享特征估計(jì)初始化視差；

將初始視差、先驗(yàn)特征和后驗(yàn)特征的穩(wěn)定性引入一個(gè)子網(wǎng)絡(luò)，通過(guò)貝葉斯推到過(guò)程細(xì)化初始視差。

2、 網(wǎng)絡(luò)架構(gòu)

下圖是網(wǎng)絡(luò)框架

a. 莖塊——多尺度特征提取

• 這個(gè)塊的輸出結(jié)果可以劃分成三個(gè)類型：
  a.第二個(gè)卷積層conv2a/conv2b的輸出——捕捉兩幅圖像之間總體的、粗略的對(duì)應(yīng)關(guān)系；被第一個(gè)子網(wǎng)絡(luò)用于視差估計(jì)
  b.第一個(gè)卷積層conv1a/conv1b的輸出——捕捉兩幅圖像之間短程的、細(xì)密的對(duì)應(yīng)關(guān)系；該特征充當(dāng)了第二個(gè)子網(wǎng)絡(luò)所使用的先驗(yàn)特征不變性
  c.多尺度融合特征up_conv1a/up_conv1b——用于計(jì)算第二個(gè)子網(wǎng)絡(luò)的后驗(yàn)特征不變性

b. 初始化視差估計(jì)子網(wǎng)絡(luò)

• 子網(wǎng)絡(luò)的輸入是上一部分中的第二個(gè)卷積層conv2a/conv2b的輸出；輸出是視差圖；中間過(guò)程是通過(guò)一個(gè)編碼-解碼結(jié)構(gòu)完成的（這一點(diǎn)和FlowNet、DispNet相似）。
• 在計(jì)算匹配代價(jià)的時(shí)候，其精度和效率之間存在一個(gè)權(quán)衡關(guān)系：如果利用高層特征來(lái)計(jì)算匹配代價(jià)，會(huì)丟失很多細(xì)節(jié)，一些很相似的對(duì)應(yīng)關(guān)系不能被區(qū)分；相反，如果利用低層特征來(lái)計(jì)算，因?yàn)樘卣鲌D很大，所以計(jì)算成本很高，不過(guò)感受野很小，以至于捕獲更魯棒的特征。
  -skip connection：利用ResNet中的短路思想，其作用是結(jié)合低層次特征(通常包含了位置信息)和高層次特征(包含語(yǔ)義信息)，因?yàn)榻?jīng)過(guò)一些卷積層后，feature map里面都是一些高層的特征，丟失了一些細(xì)節(jié)，加入skip connection可以使得最終的結(jié)果加入一些細(xì)節(jié)（低層特征）。最后會(huì)發(fā)現(xiàn)提取的特征中包含了更多的信息，使得模型更加魯棒。

c. 視差優(yōu)化子網(wǎng)絡(luò)

• 前面的網(wǎng)絡(luò)的輸出是初始化的視差圖，但是這個(gè)視差圖并布不能作為最終的輸出，原因在于初始化的視差圖還面臨一些深度不連續(xù)以及異常值的挑戰(zhàn)。所以需要再進(jìn)一步的進(jìn)行視差估計(jì)。
• 前面提到過(guò)在本論文中，將視差優(yōu)化的任務(wù)當(dāng)作是貝葉斯推理過(guò)程。公式為
  
• 將視差估計(jì)子網(wǎng)絡(luò)產(chǎn)生的初始化視差放發(fā)票視差優(yōu)化子網(wǎng)絡(luò)中，會(huì)估計(jì)這個(gè)初始化視差的殘差。
• 最終的視差圖是=初始化視差+殘差

d. 迭代優(yōu)化

• 這個(gè)過(guò)程重復(fù)執(zhí)行，直到相鄰兩次迭代之間的改進(jìn)很小。值得注意的是：隨著迭代次數(shù)的增加，改進(jìn)減小。

3、 網(wǎng)絡(luò)體系結(jié)構(gòu)

下圖是網(wǎng)絡(luò)體系構(gòu)

• 解釋一下咱們開始的時(shí)候說(shuō)這個(gè)網(wǎng)絡(luò)結(jié)構(gòu)是iResNet-i1e2，其中i2表示的是迭代的去優(yōu)化視差兩次，e2指的是將輸入圖像放大兩倍。

本博客只是對(duì)論文的初步理解，后期還會(huì)再跟進(jìn)。

總結(jié)

以上是生活随笔為你收集整理的论文阅读笔记之《Learning Deep Correspondence through Prior and Posterior Feature Constancy》的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。