目標形體形狀輪廓重建：ICCV2019論文解析

Shape Reconstruction using Differentiable Projections and Deep Priors

論文鏈接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Gadelha_Shape_Reconstruction_Using_Differentiable_Projections_and_Deep_Priors_ICCV_2019_paper.pdf

摘要

研究了在存在視點不確定性的情況下，由含噪和不完全投影重建形狀的問題。將該問題轉化為對由投影算子和先驗算子獲得的給定形狀測量值的優化。本文提出了一些重建問題的可微投影算子，當與深度圖像先驗或形狀先驗相結合時，可以通過梯度下降進行有效的推斷。本文將本文的方法應用于各種重建問題，例如少數樣本的層析重建，包含視圖不確定性的可視船體重建，以及噪聲深度圖的三維形狀重建。實驗結果表明，本文的方法對此類形狀重建問題是有效的，無需任何特定任務的訓練。

1. Introduction

考慮從輪廓重建三維形狀的問題。經典的視覺外殼算法與每個視點的可見體積相交，易于實現，但對視點估計誤差和輪廓噪聲敏感。針對這個問題的貝葉斯方法是在形狀和視點估計上添加適當的先驗并進行后驗推理。這一挑戰有兩個原因。首先，由于沒有緊湊的形狀基礎來搜索一般形狀，因此三維形狀的搜索空間很大。其次，對于高維數據，貝葉斯推理通常代價高昂。為此，本文提出了可微投影算子T和深形狀先驗，它們可以通過隨機梯度下降及其變體進行貝葉斯推斷[23]。

雖然存在許多先驗，但令人感興趣的是Ulyanov等人的“深形狀先驗”。[21]表明自然圖像x的空間可以表示為參數族fθ（η），其中f是卷積網絡，θ是其參數，η是固定輸入。他們的工作表明，對自然圖像的搜索可以被對網絡θ的參數的搜索所代替，這是有效的通過梯度下降完成。本文的工作使這個想法更進一步。首先，本文賦予深度圖像先驗以3D卷積，從而得到深度形狀先驗。其次，在給定投影參數φ（如視點）的情況下，引入可微投影算子T，對投影測量（如輪廓）進行建模。因此，在給定噪聲投影測量y的情況下，對形狀x的推斷可簡化為對網絡參數θ和投影參數φ的以下優化：

本文證明，對于許多形狀構造問題，如斷層重建、輪廓形狀或深度圖，可以使用現有的神經網絡構建塊來構造投影算子，這些神經網絡構建塊對于輸入參數和投影參數都是可微的。因此，使用“反向傳播”機制可以最小化目標，這通常比使用馬爾可夫鏈蒙特卡羅（MCMC）技術的貝葉斯推理快得多。 除了選擇網絡架構和投影運營商外，該方法不需要任何特定任務的培訓。盡管如此，它在低采樣狀態下的層析重建中產生了令人信服的結果，在低采樣狀態下，它優于基于迭代BM3D的最新方法[13]。本文的工作還表明，將深度圖像推廣到三維體之前，對三維形狀的建模是有效的。在諸如可視船體重建或深度圖重建等問題中，即使在視圖估計中存在不確定性，或深度圖被噪聲污染時，本文也可以僅從少數視圖準確估計物體的三維形狀。重建結果明顯優于手工制作的前驅。這些任務如圖3-9所示。

2. Related work

在本節中，本文簡要總結了用于解決形狀圖像和體積重建的反問題的技術：

數據項E和投影算子T是應用程序專用的，但在對前一項P建模時有相當大的靈活性。這些包括平滑度優先項，如總變差（TV）[17]和L0梯度[25]、面片上的高斯混合模型[29]、去噪自動編碼器[22]。深度圖像先驗[21]將圖像表示為具有來自固定（隨機）輸入的隨機參數的輸出卷積網絡。結果表明，由多個卷積層和合流層組成的網絡輸出，再由多個反卷積層組成，這些層之間的跳躍連接很少或沒有跳躍連接，都會產生自然圖像。最近，對深度圖像先驗的一個擴展表明，它與高斯過程是漸近等價的[5]。這就提出了一種貝葉斯方法來解決這個問題：通過Langevin dynamics進行后驗推理避免了提前停止的需要，并提高了去噪和修復任務的結果。深度圖像先驗也與過程先驗有關，例如雙邊濾波[20]、非局部均值[3]或塊匹配3D（BM3D）[7]。這些模型利用圖像中斑塊的非局部自相似性對其進行整體去噪。對于包含噪聲和不完全測量y的復雜投影算子T，應用過程先驗是非常重要的。假設y和z表示被噪聲污染的觀測和未觀測投影測量：（y，z）=T（x）+δ。例如，y可以表示傅里葉變換中的頻率子集，或壓縮傳感應用中的數據投影。Maggioni等人
[13] 提出了以下迭代方案：

優化將重構與先驗解耦合。第一個涉及圖像先驗和平方損失項的推斷。第二個目標是z的二次型，可以用共軛梯度下降法求解。解耦允許使用顯式或隱式先驗，以及學習的近端投影算子[4,26]proj（z-u，ρ），該算子將向量z-u映射到距離自然圖像流形ρ一段距離內的x，類似于去噪自動編碼器，以解決反問題。最后，一類方法直接學習逆映射G:Y→X，使用豐富的參數模型，如完全有監督的神經網絡。這些模型在訓練過程中分散了推理，并在噪聲測量的情況下實現了有效的推理。這些模型已經成功地應用于各種反問題，如超分辨率[8]、去噪[24]、著色[12，28]以及從圖像中估計深度和法線[9]。然而，缺點是模型的結構和參數可能是專門針對噪聲和投影操作員的，這需要為每個任務分別進行培訓。與這項工作密切相關的是，最近的一些方法利用對深度特征的幾何變換來生成三維物體的新視圖[14,19]。與本文的方法相反，這些技術并沒有明確定義投影算子——它們是由一個深層神經網絡參數化的。因此，推斷的表示并不直接對應于三維形狀，而是對應于由模型學習的更高級別的表示。

3. Method

本文的貝葉斯推理方法是使用隨機梯度下降（SGD）優化方程1中的目標。這對應于最大似然估計（MLE），或最大后驗估計（MAP），前提是參數θ上的先驗被相加。雖然存在基于SGD的后驗抽樣的更復雜的方案[5, 23 ]，但是本文認為SGD對于本文考慮的問題席工作相當好。用SGD求解重建問題需要構造形狀上的可微投影算子和可微先驗。本文將深度圖像先驗用于基于圖像的重建任務，而將三維卷積版本用于形狀重建任務。在早期的工作中，深度圖像先驗被用來解決線性測量的重建問題[21]。例如，在去噪中，投影運算符是標識變換，而在修復中，投影運算符是指示哪些像素存在或不存在的掩碼。在這一節中，本文提出了三種可微投影算子，它們可以與深度神經網絡相結合，從局部和噪聲觀測中重建形狀。

3.1. Radon Projection (TR)

其中S是圖像的大小。注意，Radon變換R的結果也是一個圖像（稱為sinogram，由φ和R參數化），如圖3所示。最后，本文的算子TR接收大小為S×S的圖像I，表示投影角度的一組值φ，并輸出大小為S×|φ|的圖像。該過程是可微的，并且可以實現為多個旋轉圖像的一維和。

3.2. Silhouette Projection (TS)

基于輪廓的形狀重建包括以下問題：給定一組來自不同視圖的同一物體的輪廓圖像，估計物體的三維形狀。

3.3. Depth Image Projection (TD)

現在本文得到了每個體素的可見性值，投影圖像中像素的深度值就是a沿視線的線積分：。這將沿著可見的整個視線累積體素的數量，因此它給出深度值。有關圖示，請參閱圖2。當把這個算子和神經網絡一起使用時，本文發現如果本文應用指數衰減，它會更好地工作。因此，本文可以定義深度投影運算符TD如下：

這會平滑地將深度值映射到[0,1]之間的范圍。具體來說，它將深度值映射為0到0，并將單位映射為1，同時仍然保持可微運算符。

4. Experiments

網絡架構。

在體積重建實驗（即分別從輪廓圖像和深度圖像重建3D形狀）中，網絡結構是完全卷積的UNet[16]，其中編碼器具有5層8、16、32、64和128個濾波器。解碼器是編碼器的鏡像版本，跳過連接僅應用于兩個最內層。通過雙線性/三線性插值和卷積完成上采樣。所有卷積都有濾波器大小3，然后是批量標準化和ReLU激活函數。網絡的輸入是一個與輸出大小相同的張量，其值從N（0,1）采樣。

4.1. Tomography Reconstruction

層析成像的標準解是濾波反投影（FBP）：它使用傅立葉切片定理反轉Radon變換。當角度采樣率較低時，使用FBP進行的重建會產生嚴重的混疊偽影，如圖3第三列所示。電視先驗極大地改善了所有三幅圖像的重建效果。第2節中描述的迭代BM3D方法[13]運行了100次迭代。本文注意到PSNR值在100次迭代后收斂，在前20次迭代中PSNR的增益最大。請注意，在FBP重建上運行BM3D對應于此方法的一次迭代。對于深度先驗，本文通過運行2000個梯度步長來獲得結果。與迭代BM3D相比，deep prior生成的重建具有顯著更好的SSIM值和可比較或更好的PSNR值（圖3中的最后兩列）。BM3D的相對較差的性能可能是因為與圖像去噪應用中觀察到的噪聲相比，CT重建中的混疊噪聲往往更結構化，不像自然圖像噪聲。迭代BM3D算法需要多次迭代才能消除radon逆變換產生的偽影，但這會導致底層結構的平滑，從而降低SSIM分數。

4.2. Shape-from-Silhouette 3D Reconstruction

結果如圖4所示。即使只有少量的輪廓圖像，本文的方法也能重建出合理的三維形狀。選擇本例的視點通過沿水平軸均勻旋轉對象（例如，在4個視圖中，每個視圖相距90度；在8個視圖中，每個視圖相距45度，依此類推）。這個問題的一個基線方法是空間雕刻，它將所有投影視圖的交集生成占用網格。本文在圖5中顯示了與空間雕刻的定性比較。空間雕刻為大多數形狀提供了合理的重建，但有些對象包含諸如折痕甚至丟失的部分等人工制品。另一方面，深的形狀往往會產生過于平滑的形狀，這有時意味著移除對象的某些部分（圖5中的椅子）或添加應該存在尖銳邊界的內容（圖5中的燈）。

View uncertainties

本文將本文的方法與空間雕刻基線進行了比較，并在表1中報告了估計占用網格在并集上的交集。該方法在不擾動視點的情況下仍優于一般的空間雕刻，證明了該方法對視點擾動的魯棒性。圖7顯示了重建形狀的定性比較。本文的方法重建形狀與高精細度，保留細節和薄結構。另一方面，正如本文在圖7中所看到的，空間雕刻最終會重建缺少零件和粗糙結構的物體。

Reconstructions using captured images

本文還評估了本文的方法，使用從相機捕獲的圖像。結果如圖6所示。拍攝對象是一個玻璃物體，本文在一個均勻的背景色下拍攝了4個等距的視圖，彼此之間的水平旋轉角度為45度。然后本文使用[1]移除背景并將每個圖像轉換為二值輪廓 形象。本文用本文的方法與標準視覺外殼（即空間雕刻）進行比較。正如可以觀察到的，本文的方法導致了平滑的重建，結果對象看起來更自然。相比之下，視覺外殼結果包含偽影和圍繞更改視圖的尖銳過渡，這將需要大量視圖來消除。

4.3. Shape-from-Depth Images 3D Reconstruction

深度圖像的三維重建設置與二值圖像相同，除了使用投影TD而不是TS。所有輸入深度圖像的范圍都使用等式（8）中的指數映射縮放為[0,1]。分析了該方法在4個視點下對不同高斯噪聲擾動下的深度圖像進行三維形狀重建的能力。結果如圖8所示。此外，本文還分析了在改變視圖數目的情況下重建的質量。結果如圖9所示。在這些實驗中，本文保持了很高的噪聲水平（σ=0.1）。本文注意到，即使在處理非常嘈雜的投影時，如果給出足夠的視圖，本文的方法也能夠重建高質量的形狀。

5. Conclusions

結論將深度圖像或體積先驗與可微投影算子相結合，可以得到可以用隨機梯度下降從一些噪聲投影測量中重建。該方法是免費學習的，可以作為一個通用的先驗。盡管如此，在相對簡單的網絡架構下，本文的方法在基于圖像和體積重建任務中的性能優于一些手工制作的和過程性的prior。盡管本文給出了斷層掃描和輪廓和深度圖形狀重建的結果，但只要渲染或測量過程是可微的，就可以使用該方法。這些問題包括從陰影估計形狀和從多個陰影圖像估計幾何圖形。一個潛在的問題是對形狀使用體積表示，這會導致較高的內存要求和較長的運行時間。一個可能的研究方向是研究更緊湊的三維表示（如點云或多視圖）的形狀先驗。將深先驗知識與可微計算機圖形學管道上的工作相結合，開辟了在許多應用中應用這種方法求解反問題的可能性。

總結

以上是生活随笔為你收集整理的目标形体形状轮廓重建：ICCV2019论文解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。