點擊上方“3D視覺工坊”，選擇“星標”

干貨第一時間送達

作者丨paopaoslam

來源丨?泡泡機器人SLAM

標題：Diffusion Probabilistic Models for 3D Point Cloud Generation

作者：Luo, Shitong, and Wei Hu

來源：CVPR 2021

編譯：鞠季宏

審核：阮建源 王志勇

摘要

我們提出了一個用于點云生成的概率模型，它可以被用于多種 3D 視覺任務的基礎，例如形狀補全、上采樣、合成和數(shù)據(jù)增強。受非平衡熱力學中擴散過程的啟發(fā)，我們將點云中的點視為與熱庫（heat bath）接觸的熱力學系統(tǒng)中的粒子，其從原始分布擴散成為噪聲分布。因此，點云生成相當于學習將噪聲分布轉換為所需形狀分布的反向擴散過程。具體來說，我們提出將點云的反向擴散過程建模為以某種隱式形狀（shape latent）為條件的馬爾可夫鏈。我們推導出訓練時封閉形式的變分邊界，并提供了模型的實現(xiàn)。實驗結果表明，我們的模型在點云生成和自動編碼方面取得了有競爭力的表現(xiàn)。代碼位于 https://github.com/luost26/diffusion-point-cloud

diffusion-point-cloud。

主要貢獻

? 文章受非平衡熱力學中的擴散過程啟發(fā)，提出了一種新的點云概率生成模型。

? 作者從點云基于形狀的條件似然的變分下限推導出一個易于處理的訓練目標。

? 大量實驗表明我們的模型實現(xiàn)了在點云生成和自動編碼有競爭力的性能

方法概述

????本文中作者將點云看作是從概率分布中取樣生成的，每一個點都是該概率分布的獨立同分布（i.i.d）采樣。類似于圖像的擴散概率模型，當我們向點云引入噪音時，點云會逐步從與形狀有關的復雜分布變?yōu)楦咚狗植嫉脑胍?#xff0c;這一過程被稱作正向擴散過程。點云的生成模型可以被視作是如圖二所示的逆向擴散過程：根據(jù)一個高斯分布取樣作為噪音點云，訓練一個神經網(wǎng)絡以形狀為條件逐步對該噪音點云減噪，直至點云恢復其本來的形狀。

??? Figure 2 展示了從噪音點云逆擴散生成點云的過程可以由一個馬爾科夫鏈模型表示。點云中的每一個點由 x(T) 開始以轉移概率 p****θ(x(t-1)|x(t),z) 逐步減噪（逆擴散）為目標點云 x(0)。其中 θ 表示可學習的神經網(wǎng)絡參數(shù)參數(shù)，z 表示與形狀有關的潛變量。

????生成點云時，從正態(tài)分布取樣w，經先驗flow模型映射為形狀變量z。同時從正態(tài)分布取樣噪音點云 x(T)。通過一系列逆向擴散過程，噪音點云以形狀z為條件逐漸減噪為目標點云 x(0)。

????訓練時，數(shù)據(jù)集中的點云經過編碼器 φ 編碼為形狀潛碼 z 正態(tài)分布的均值和方差，再使用與變分編碼器（VAE）中的重新參數(shù)化技巧相同的方式取樣形狀潛碼 z。如下圖所示，輸入點云隨后經過一系列前向擴散過程逐漸變?yōu)樵胍酎c云。訓練目標函數(shù)采用條件似然概率的變分下限，以最大化似然訓練數(shù)據(jù)集的似然概率。具體的損失函數(shù)定義、公式推導已經為提高訓練效率選取的近似值請參考下方原文鏈接。

????需要注意的是，變分自動編碼器VAE的先驗概率選用正態(tài)分布，本文應用 Flow 模型將簡單的正態(tài)分布映射 p(w) 到更復雜的分布模型 p(z)。訓練時，q(z|x(0) 經過逆向的 Flow 映射回 w， 損失函數(shù)包含 w 的先驗概率分布和后驗概率分布之間 KL 散度。

實驗結果

????文章選用 ShapeNet 數(shù)據(jù)集進行點云生成實驗、點云重建以及點云特征提取實驗。

Table 1 總結了擴散概率模型與包括GAN、Flow模型在內的其他點云生成方法相比在最小匹配距離 (MMD), 覆蓋分數(shù) (COV), 最近鄰分類器準確率(1-NNA)以及 Jenson-Shannon 散度 (JSD) 上可以 SOTA 方法媲美。

????下圖展示了一些生成點云的樣例，包含了飛機和椅子兩個分類。

??? Table 2 列出了擴散概率模型自動編碼重建性能。其重建點云與原始點云之間的 Chamfer 距離(CD) 和 動土距離 (MD) 也可以達到與 SOTA 相近的數(shù)值。

????下圖給出了幾個點云重構的例子，最左側一列是真實點云，然后依次是擴散模型、ShapeGF 以及 AtlasNet。

??? Table 3 顯示擴散概率模型與其他模型在表征學習方面的比較。只使用一個線性SVM作為分類器，擴散概率模型學習的表征在ModelNet10和ModelNet40數(shù)據(jù)集上分別可以達到94.2%和87.6%的準確率，與SOTA方法相近或更好。

??? Figure 6展示在潛變量空間插值變換獲得相應點云的變化：

總結

????文章將擴散概率模型用于點云生成，推理時以形狀采樣為條件將噪音點云逆向擴散為目標點云；訓練時將輸入正向擴散為噪音點云，以從點云似然變分下限推導出的損失函數(shù)訓練模型。? 實驗表明這樣的擴散模型實現(xiàn)了在點云生成、自動編碼以及表征學習任務實現(xiàn)了有競爭力的性能。

Abstract

We present a probabilistic model for point cloud generation, which is fundamental for various 3D vision tasks such as shape completion, upsampling, synthesis and data augmentation. Inspired by the diffusion process in non-equilibrium thermodynamics, we view points in point clouds as particles in a thermodynamic system in contact with a heat bath, which diffuse from the original distribution to a noise distribution. Point cloud generation thus amounts to learning the reverse diffusion process that transforms the noise distribution to the distribution of a desired shape. Specifically, we propose to model the reverse diffusion process for point clouds as a Markov chain conditioned on certain shape latent. We derive the variational bound in closed form for training and provide implementations of the model. Experimental results demonstrate that our model achieves competitive performance in point cloud generation and auto-encoding. The code is available at??https://github.com/luost26/diffusionpoint-cloud

本文僅做學術分享，如有侵權，請聯(lián)系刪文。

干貨下載與學習

后臺回復：巴塞羅那自治大學課件，即可下載國外大學沉淀數(shù)年3D Vison精品課件

后臺回復：計算機視覺書籍，即可下載3D視覺領域經典書籍pdf

后臺回復：3D視覺課程，即可學習3D視覺領域精品課程

3D視覺工坊精品課程官網(wǎng)：3dcver.com

1.面向自動駕駛領域的多傳感器數(shù)據(jù)融合技術

2.面向自動駕駛領域的3D點云目標檢測全棧學習路線！(單模態(tài)+多模態(tài)/數(shù)據(jù)+代碼)
3.徹底搞透視覺三維重建：原理剖析、代碼講解、及優(yōu)化改進
4.國內首個面向工業(yè)級實戰(zhàn)的點云處理課程
5.激光-視覺-IMU-GPS融合SLAM算法梳理和代碼講解
6.徹底搞懂視覺-慣性SLAM：基于VINS-Fusion正式開課啦
7.徹底搞懂基于LOAM框架的3D激光SLAM: 源碼剖析到算法優(yōu)化
8.徹底剖析室內、室外激光SLAM關鍵算法原理、代碼和實戰(zhàn)(cartographer+LOAM +LIO-SAM)

9.從零搭建一套結構光3D重建系統(tǒng)[理論+源碼+實踐]

10.單目深度估計方法：算法梳理與代碼實現(xiàn)

11.自動駕駛中的深度學習模型部署實戰(zhàn)

12.相機模型與標定(單目+雙目+魚眼）

13.重磅！四旋翼飛行器：算法與實戰(zhàn)

14.ROS2從入門到精通：理論與實戰(zhàn)

15.國內首個3D缺陷檢測教程：理論、源碼與實戰(zhàn)

16.基于Open3D的點云處理入門與實戰(zhàn)教程

重磅！3DCVer-學術論文寫作投稿?交流群已成立

掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿?微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。

同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點云后處理、自動駕駛、多傳感器融合、CV入門、三維測量、VR/AR、3D人臉識別、醫(yī)療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。

一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺?+ 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創(chuàng)投稿也請聯(lián)系。

▲長按加微信群或投稿，加微信：dddvision

▲長按關注公眾號

3D視覺從入門到精通知識星球：針對3D視覺領域的視頻課程（三維重建系列、三維點云系列、結構光系列、手眼標定、相機標定、激光/視覺SLAM、自動駕駛等）、知識點匯總、入門進階學習路線、最新paper分享、疑問解答五個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯(lián)合知名企業(yè)發(fā)布3D視覺相關算法開發(fā)崗位以及項目對接信息，打造成集技術與就業(yè)為一體的鐵桿粉絲聚集區(qū)，近4000星球成員為創(chuàng)造更好的AI世界共同進步，知識星球入口：

學習3D視覺核心技術，掃描查看介紹，3天內無條件退款

?圈里有高質量教程資料、答疑解惑、助你高效解決問題

覺得有用，麻煩給個贊和在看~??

總結

以上是生活随笔為你收集整理的3D点云生成的扩散概率模型（CVPR 2021）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。