三維點云去噪無監督學習：ICCV2019論文分析

Total Denoising: Unsupervised Learning of
3D Point Cloud Cleaning

論文鏈接：

http://openaccess.thecvf.com/content_ICCV_2019/papers/Hermosilla_Total_Denoising_Unsupervised_Learning_of_3D_Point_Cloud_Cleaning_ICCV_2019_paper.pdf

摘要

結果表明，三維點云的去噪可以在無監督的情況下直接從含噪的三維點云數據中學習。這是通過將最近從無監督圖像去噪器的學習擴展到非結構化三維點云來實現的。無監督圖像去噪器在噪聲像素觀測是圍繞干凈像素值的分布的隨機實現的假設下工作，這使得對該分布的適當學習最終收斂到正確的值。遺憾的是，這種假設對非結構點無效：三維點云受到總噪聲的影響，即所有坐標的偏差，沒有可靠的像素網格。因此，一個觀測可以實現一個完整的多個干凈的三維點，這使得將無監督圖像去噪器天真地擴展到三維點云不切實際?？朔@一點，我們引入了一個空間先驗項，它引導收斂到流形上許多可能模式中唯一的最近模式。我們的結果表明，當給出足夠多的訓練實例時，無監督去噪的性能與有監督學習在干凈數據下的性能相似，其中我們不需要任何噪聲和干凈的訓練數據對。

1. Introduction

雖然干凈的三維幾何圖形數量受到人工三維CAD建模的限制，但三維點云的數量每天都在快速增長：我們城市的街道、日常建筑的內部，甚至我們消費的商品都會定期進行三維掃描。遺憾的是，這些數據被掃描器噪聲破壞，因此無法被需要對噪聲和干凈數據的監督學習訪問。因此，期望能夠僅使用噪聲數據本身來去除所獲得的噪聲3D點云。

最近兩個必要的發展表明這可能是可能的：對3D點云的深入學習[19]和圖像的無監督去噪[17，15，2]。不幸的是，這兩種方法不能天真地結合在一起。為了學習我們的無監督三維點云去噪器（圖1），我們需要克服兩個主要限制：對同一物體進行兩次噪聲掃描的實際障礙和三維點云中噪聲是全部的理論困難。我們將噪聲稱為“總噪聲”（圖2），當域是干凈的（如像素位置一樣）時，失真不受范圍（像素值）的限制，但對于域和范圍都受噪聲影響的更具挑戰性的設置。它的名字類似于total least squares[9]，total least squares處理域和范圍內的同時噪聲，但用于線性、非深層設置。

本文的評估結果表明，對于不同類型的模擬噪聲以及真實點云，我們的無監督方法仍然優于足夠多的有監督方法，在某些情況下，甚至在給定相同數量的訓練數據時，它在大點云上的單次傳遞中運行效率很低。

2. Related Work

圖像去噪

圖像去噪是圖像處理中最基本的操作之一。最原始的變體是基于線性濾波器，如高斯濾波器，最終有額外的銳化[13]。雖然實際中經常使用非線性濾波器，如中值濾波器、雙邊濾波器[24]或非局部濾波器[3]，但通過優化稀疏性[6]可獲得最新的結果。最近，學習去噪變得很流行，當一對干凈的和有噪聲的圖像可用時[4]。Lehtinen等人[17] 提出了一種只對兩幅噪聲圖像進行去噪學習的方法，而不需要對噪聲圖像進行去噪學習。更進一步說，Noise2Void[15]和Noise2Self[2]是兩個擴展，這兩個擴展消除了一個圖像的兩個副本被噪聲破壞的要求，而是在一個圖像上工作。在這兩種情況下，這都是通過從圖像本身進行回歸來實現的。這是通過創建一個帶有“盲點”的接受域來完成的，并且網絡從其上下文中還原盲點。我們將在第3節詳述這些論文背后的理論。

三維點云去噪

三維點云捕捉了精細的空間細節，但由于其不規則的結構，其處理難度遠大于圖像[18]。至于圖像，線性濾波器可以應用于去除噪聲[16]，但要犧牲細節。作為補救措施，圖像算子，如雙邊[8，5]、非局部平均值[21]或稀疏編碼[1]被轉移到點云。隨著PointNet的出現[19]，基于深度學習的點云處理變得容易處理。提出了四種值得注意的三維點云深度去噪方法。第一種是PointProNet，它通過將點投影到一個已知的局部框架中，并在有監督的設置中使用卷積神經網絡（美國有線電視新聞網）將點移回曲面，從而去除點塊的噪聲[22]。然而，該方法的精度是由局部幀估計的精度決定的，這會導致在極端銳利的邊緣出現偽影。Rakotosaona等人的第二種方法。[20] 使用PCPNet[11]（PointNet[19]的變體）將有噪聲的點云映射到干凈的點云。第三，Yu等人[30]學會保存支配人造物體的邊緣。最后，Yifan等人[29]通過放大，從噪聲點確定干凈的表面。所有這些深度去噪方法都是有監督的，因為它們需要一對干凈且有噪聲的點云，而這些點云實際上是通過在合成點云中添加噪聲而產生的。我們的方法不需要這樣的配對。

噪音與學習

噪聲是用于去噪自動編碼器的增強策略[25]。但這些都是不是為了去噪，而是加入噪聲來提高魯棒性。也就是說它們的目標不是噪聲，而是噪聲在輸入或加入到內部的狀態。

3. Denoising Theory

基于規則域（即圖像）中的去噪，無論是否有監督，我們將建立一個形式主義，該形式主義隨后也可用于推導我們的非結構化三維情況。

3.1. Regular Domains

正則域像素噪聲。如圖3，a）所示。黑色曲線是真實信號，像素（虛線）在采樣位置p(z|xi)（黃色曲線）周圍的真值（粉紅色圓）上采樣。

Supervised

Unsupervised, paired

Unsupervised, unpaired

Discussion

上述三種方法都是在以下假設下工作的：在結構化像素網格中，范圍（圖2中的垂直軸，左和圖3中的垂直軸，a）軸i和域z（水平軸）具有不同的語義。噪聲僅在范圍內：不確定像素的位置，不確定像素的真實值。

3.2. Unstructured Domains

Point noise

對于像素，我們將干凈點表示為x，噪聲點表示為y，噪聲模型表示為p。我們推導的所有點可以是具有XYZ坐標的位置點，也可以是具有外觀的位置點，表示為XYZRGB點。據我們所知，彩色點云的深度去噪還沒有提出。我們不僅將展示我們的技術如何應用于此類數據，而且還將展示在訓練點云去噪器的無監督學習時，顏色如何能夠實質性地幫助克服挑戰。令人驚訝的是，這種好處可以在訓練中利用，即使在測試時沒有顏色。如果可以的話，會有幫助的，我們也可以聯合去噪的位置和外觀。

Supervised

4. Unsupervised 3D Point Cloud Denoising

4.1. Inapplicability of ‘Paired’ Approaches

為了在有人監督的環境下解決這個問題，Rakotosaona等人
[20] 通過為每個噪聲觀測選擇干凈點云中最近的點作為損失目標，模擬了這種配對。然而，這只是真實曲面的近似值，其精度取決于干凈數據的采樣質量。幸運的是，我們可以證明不需要配對假設，這樣我們的方法不僅在無監督的情況下運行，而且在無配對的情況下運行，我們將在下面詳細介紹。

4.2. Unpaired

不同于觀察圖像中的I索引（虛線圖3，a），它告訴我們Y是隱藏值席的推斷，當在未成對設置中觀察點時，未知的隱藏表面點是未知的。因此，分布p（z | S）具有多種模式（圖3，b中的粉紅色線）。學習從噪聲實現到自身的映射將嘗試收斂到這種多模態分布，因為對于同一個鄰域，網絡將嘗試同時從這種分布中回歸不同的點。

4.3. Manifold of Modes vs. Clean Surface

關于第一個問題，模式的流形接近表面，但不完全相同。圖4，a）將清潔表面顯示為黑線，具有少量噪聲，其中大多數樣品接近清潔表面。在這種情況下，學習收斂到一個解，這個解與它應該收斂到的解相同，就像在粉色線上訓練時一樣，粉色線與干凈的曲面非常相似。然而，隨著噪聲的增加，在圖4中可以看到，b）該流形與表面不同。

4.4. Unique Modes

圖3，c）中顯示了這種先驗效應。在許多模式中，唯一最接近的模式仍然存在。注意，我們對高斯先驗q的選擇與噪聲模型p的高斯性無關，我們不假設這一點。這里唯一的假設是，在許多解釋中，最接近的一個是正確的。我們對其他核函數進行了實驗，如Wendland[27]和逆多二次核函數，但沒有觀察到任何改進。

4.5. Appearance to the rescue

如上所述，帶有RGB顏色標注的3D點云是進一步克服無監督訓練局限性的一個令人驚訝的機會。否則，在某些情況下，空間先驗無法解析圓邊。這并不是因為網絡f無法解決這些問題，而是因為無監督的培訓無法“看到”尖銳的細節。圖5詳細說明了顏色是如何解決這個問題的：沒有RGB，角在圖5，a）中是圓形的。當添加顏色時，這里是紅色和藍色（圖5。b）
，點分離（圖5，c）。在紅點上對先前q（z | y）的采樣永遠不會選擇藍點，反之亦然。因此，學習的行為就好像它看到了尖銳的細節。

4.6. Converging to the mode

4.7. Implementation

優先

為了使等式3最小化，我們需要根據使用拒絕實現的先前q來提取樣本。 建筑

我們使用基于蒙特卡羅卷積的非結構化編碼器-解碼器來實現f（圖6）。這種架構使用點云，將空間鄰域轉換為定義在較粗點集（編碼器）上的潛在代碼，并將這些代碼向上采樣到原始點分辨率（解碼器）。有效接收場，即考慮神經網絡回歸點的鄰域，是模型直徑的30%。特別是，我們執行兩個級別的編碼，第一個接收字段為5%，第二個為10%。1級和2級池的泊松盤半徑是接收區的一半。

訓練

除了這些好處之外，我們的方法也很容易實現，如Alg1所示。

這里，Q表示點云中所有點的一組先驗樣本Q。所有操作都定義在具有點云大小的批上。我們使用ADAM優化器[14]，初始學習率為0.005，在訓練期間會降低。

5. Evaluation

現在，我們將研究有監督的方法如何與干凈點云的數量成比例，以及我們的方法與有噪聲點云的數量成比例。結果見表2不同的方法是列，不同數量的訓練數據是行。右邊的圖以圖形的形式顯示關系。我們用點表示各個測量值的對數，所有圖的顏色編碼都是相同的。測量了兩種方法的差異。總訓練點數在0.5到2.2億之間。

表4顯示了不同方法對這類噪聲的誤差。我們看到，在這種情況下，我們的完整方法（橙色）比任何其他無監督方法（如平均值或雙邊（紫色和藍色））表現更好。在相同的訓練數據輸入量（1200萬點）下，有監督的方法可以比其他方法更好地處理這種噪聲。最后，我們還發現沒有建議的先驗值（青色和綠色）的燒蝕有更高的誤差，這表明先驗值也與這類噪聲同樣相關。

我們在圖7中看到，我們的方法如何消除噪聲，并產生一個干凈的點云而不收縮，均勻采樣以及細節。我們不能把錯誤形象化，因為根本的真相是未知的。相反，我們通過將點云表示為帶有陰影的球體網格來提供點云渲染。

當不使用先驗空間（綠色）時，去噪器學習不同類型的噪聲（表1）
，噪音大小（表23）
以及訓練數據量（表2）
一直比高斯或雙邊差，也不比高斯或雙邊好多少。這表明這是必要的。

在任務型語言的上述三個變化軸上，一致地使用外觀可以改善結果。表1（表4）
，待定。表2和表3，要么把質量看得過重，要么就很接近。

圖8示出了要去噪的兩種不同顏色的銳邊。包括顏色，稍微減少誤差（黃色誤差越小，藍色誤差越大）。

6. Conclusions

我們提出了一種無監督學習方法來去除三維點云的噪聲，而不需要獲取干凈的例子，甚至不需要噪聲對。這使得該方法可以用自然數據進行縮放，而不是用合成噪聲裝飾干凈的CAD模型。我們的成就是由一個網絡實現的，該網絡將點云映射到自身，并結合空間局部性和之前的雙邊外觀。在前面使用外觀是可選的，但是可以提高結果，甚至不需要輸入網絡，無論是在測試時還是在訓練時。以顏色為輸入的去噪，以及顏色和位置的聯合去噪，仍然是未來的工作。結果表明，即使在訓練樣本數相同的情況下，我們也可以優于有監督的方法。

總結

以上是生活随笔為你收集整理的三维点云去噪无监督学习：ICCV2019论文分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。