Fast-MVSNet

• 一、概覽
• 二、稀疏高分辨率深度圖預(yù)測(cè)
• 三、深度圖擴(kuò)展
• 四、Gauss-Newton 精細(xì)化
• 五、損失函數(shù)
• 六、實(shí)現(xiàn)細(xì)節(jié)
• • 1.train
  • 2.test
• 七、網(wǎng)絡(luò)結(jié)構(gòu)
• • 1.稀疏高分辨率深度圖預(yù)測(cè)
  • 2.深度圖擴(kuò)展
  • 3.Gauss-Newton精細(xì)化
• 八、深度圖融合
• 九、消融實(shí)驗(yàn)

一、概覽

網(wǎng)絡(luò)分為3部分：稀疏高分辨率深度圖預(yù)測(cè)網(wǎng)絡(luò)、深度圖擴(kuò)展網(wǎng)絡(luò)、高斯-牛頓精細(xì)化網(wǎng)絡(luò)

二、稀疏高分辨率深度圖預(yù)測(cè)

深度圖方法的對(duì)比：
a)高分辨率深度圖：內(nèi)存成本很高
b)低分辨率深度圖：沒有細(xì)節(jié)
c)稀疏的高分辨率深度圖：內(nèi)存和計(jì)算成本很低。類似空洞卷積，它有可能納入更大的空間上下文信息進(jìn)行正則化。

實(shí)現(xiàn)方法與MVSNet獲取初始深度圖大致相同，減小了代價(jià)體的尺寸和深度采樣數(shù)：
1.使用8層2D CNN提取F=32通道的圖像特征
2.代價(jià)體為1/8Wx1/8HxDxF
3.深度采樣數(shù)為48或96

三、深度圖擴(kuò)展

目標(biāo)：稀疏高分辨率深度圖擴(kuò)展為密集深度圖。
1)最簡(jiǎn)單的是采用最近鄰，但是它沒有考慮原始圖像的信息，因此可能在邊界的表現(xiàn)不太好。
2)聯(lián)合雙邊上采樣：它使用原始高分辨率圖像的信息作為指導(dǎo)。

f是空間濾波器核，g是范圍濾波器核，N(P )為p周圍kxk的區(qū)域，Zp是歸一化項(xiàng)。對(duì)于不同的場(chǎng)景，這兩個(gè)濾波器核可能不同，需要手動(dòng)調(diào)整。因此，用權(quán)重W代替他們，并用簡(jiǎn)單網(wǎng)絡(luò)學(xué)習(xí)權(quán)值。數(shù)學(xué)上，使用以下形式，

其中wp，q是CNN的輸出，并以數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí)。雖然沒有顯式地計(jì)算空間信息，但它確實(shí)是由網(wǎng)絡(luò)隱式編碼的。此外，當(dāng)預(yù)測(cè)不同位置p的不同權(quán)重時(shí)，可以看作是標(biāo)準(zhǔn)雙邊上采樣器的一般化，它對(duì)每個(gè)位置p應(yīng)用一個(gè)固定的核。

概括來說，最終使用的方法是：從參考圖像中提取特征圖，在特征圖的通道中存放卷積核參數(shù)，因此最終的通道數(shù)kxk。然后用卷積網(wǎng)絡(luò)提取出的卷積核對(duì)稀疏高分辨率深度圖進(jìn)行卷積，得到擴(kuò)展的深度圖。

實(shí)現(xiàn)方法：

1.Ds使用最臨近算法轉(zhuǎn)化為稠密深度圖D（填補(bǔ)空洞），將每個(gè)點(diǎn)kxk鄰域的所有點(diǎn)依次寫入通道（形成k2的通道，存儲(chǔ)其領(lǐng)域點(diǎn)，即im2col，卷積的一種計(jì)算方式）
2.同時(shí)參考圖像提取特征，輸出通道數(shù)為kxk，得到D上每個(gè)位置的卷積核，再reshape為K2xHW二維，方便計(jì)算
3.哈達(dá)瑪積(Hadamard product)：特征圖D和W對(duì)應(yīng)位置相乘
4.sum相加（實(shí)際是卷積運(yùn)算拆成了兩步，先乘積，再相加，將k2變?yōu)?，再reshape為HxW，得到密集深度圖

四、Gauss-Newton 精細(xì)化

原理理解：此時(shí)再次從參考圖像和多張?jiān)瓐D像提取出了多張?zhí)卣鲌D，使用擴(kuò)展深度圖預(yù)測(cè)出的深度D(P )，將參考圖像上的點(diǎn)p投影到每張?jiān)瓐D像上pi’處，計(jì)算p與p’處特征圖取值的差異（若深度估計(jì)的準(zhǔn)確，那么p和投影p’處的特征應(yīng)該相似，差值小）。

目標(biāo)：誤差函數(shù)E（p）最小化

1.D（p ）表示參考圖像p點(diǎn)的深度估計(jì)（擴(kuò)展深度圖的取值）
2.Fi和F0分別為原圖像和參考圖像的特征圖（原文為the deep representation，感覺不準(zhǔn)確）
3.pi’是p在原圖像Ii的投影點(diǎn)（原文為重投影點(diǎn)reprojected point）
4.Fi（p）為特征圖Fi在p處的特征

用高斯牛頓法最小化E(p )：
1.計(jì)算殘差ri(p )(觀察值與估計(jì)值（擬合值）之間的差)

2.對(duì)每個(gè)殘差，計(jì)算他們對(duì)D（p）的一階導(dǎo)數(shù)

3.最后，可以得到當(dāng)前深度的增量δ，其中J是雅可比矩陣{Ji（p）}的疊加，r是殘差向量{ri（p）}(i=1,N)的疊加。

4. 相加得到精細(xì)化后的深度圖

優(yōu)點(diǎn)：可差分、作為網(wǎng)絡(luò)的一層不需要可學(xué)習(xí)參數(shù)、收斂速度很快，實(shí)驗(yàn)發(fā)現(xiàn)它只需更新一步就可以快速收斂。

五、損失函數(shù)

與MVSnet相同

λ =1.0

六、實(shí)現(xiàn)細(xì)節(jié)

1.train

1.使用MVSnet生成的訓(xùn)練數(shù)據(jù)
2.輸入圖像的分辨率設(shè)置為640×512、視圖數(shù)N=3
3.使用與MVSNet相同的視圖選擇策略（計(jì)算得分，選擇得分高的前幾幅作為原圖像）
4.深度平面的數(shù)量D=48，深度假設(shè)[425,921]mm均勻采樣。
5.優(yōu)化器使用RMSProp Optimizer，初始學(xué)習(xí)率為0.0005，每兩個(gè)epoch學(xué)習(xí)率降低0.9。
6.在4 NVIDIA GTX 2080Ti GPU上，批處理大小設(shè)置為16。
7.首先對(duì)稀疏深度圖預(yù)測(cè)模塊和擴(kuò)展模塊進(jìn)行了4個(gè)epoch的預(yù)訓(xùn)練，然后進(jìn)行12個(gè)epoch整個(gè)模型的端到端訓(xùn)練。

2.test

1.在擴(kuò)展深度圖后，得到了一個(gè)1xHxW的密集深度圖，為了與Point-MVSNet公平對(duì)比，在高斯-牛頓提純前用最鄰近算法將深度圖上采樣到2xHxW
2.使用N = 5張分辨率為1280×960的圖像作為輸入，并設(shè)置深度平面數(shù)D =96。首先為每個(gè)參考圖像預(yù)測(cè)深度圖，然后使用MVSnet提供的后處理將預(yù)先指定的深度圖融合為點(diǎn)云。除非另有說明，否則使用與Point-MVSNet相同的深度圖融合參數(shù)。

七、網(wǎng)絡(luò)結(jié)構(gòu)

1.稀疏高分辨率深度圖預(yù)測(cè)

網(wǎng)絡(luò)與MVSNet類似，在空間域中構(gòu)建了一個(gè)稀疏的代價(jià)體，并且使用了較少的深度平面（例如96）。因此，可以以更低的成本獲得稀疏的高分辨率深度圖。

2.深度圖擴(kuò)展

使用一個(gè)10層的卷積網(wǎng)絡(luò)來預(yù)測(cè)權(quán)重W。

3.Gauss-Newton精細(xì)化

對(duì)于Gauss-Newton精細(xì)化，使用與深度圖擴(kuò)展類似的網(wǎng)絡(luò)結(jié)構(gòu)作為擴(kuò)展模塊來提取輸入圖像{Ii}(i=0,N)的深層特征表示。不同的是，表中的Conv_4和Conv_7首先被插值到相同的大小，然后拼接。

八、深度圖融合

融合包括三個(gè)步驟：
1)光度過濾
首先將稀疏高分辨率深度圖的預(yù)測(cè)概率（概率圖獲取方式應(yīng)該與MVSNet相同）插值為高分辨率概率圖，然后過濾出概率低于閾值的點(diǎn)，過濾閾值設(shè)置為0.5。
2)幾何一致性
計(jì)算每個(gè)深度圖的差異，并過濾出差異大于閾值的點(diǎn)η. 具體地說，參考圖像深度圖D中的點(diǎn)p投影到相鄰深度圖D?中的p’, 將差異定義為

其中f是參考圖像的焦距，baseline是兩個(gè)圖像的基線。閾值η設(shè)置為0.12像素。
3)深度融合
要求每個(gè)點(diǎn)在V=3視圖中可見，并取所有重投影深度的平均值。

在文中，為了公平比較，使用了與Point-MVSNet中相同的參數(shù)進(jìn)行深度圖融合。發(fā)現(xiàn)融合參數(shù)η和V對(duì)重建結(jié)果有顯著影響。從定量比較結(jié)果中，可以看出準(zhǔn)確性和完整性之間的權(quán)衡。
a)增加η, 重建點(diǎn)精度降低，但更完整。
b)V值增加，重建結(jié)果變得更加精確，但不完整。
由于融合對(duì)最終重建結(jié)果有重大影響，因此將可學(xué)習(xí)的融合模型集成到整個(gè)pipline中是未來的一個(gè)方向。

九、消融實(shí)驗(yàn)

對(duì)高斯牛頓精細(xì)化進(jìn)行消融實(shí)驗(yàn)，并進(jìn)行了更多的迭代。
如表所示，高斯-牛頓精化能顯著提高重建質(zhì)量。然而，采用高斯-牛頓法迭代次數(shù)多，性能改善甚微。因此，在Gauss-Newton精細(xì)化中，只使用一次迭代。

總結(jié)

以上是生活随笔為你收集整理的Fast-MVSNet解读的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。