??這篇博客主要是整理了PointNet提出者祁芮中臺(tái)介紹PointNet、PointNet++、Frustum PointNets的PPT內(nèi)容，內(nèi)容包括如何將點(diǎn)云進(jìn)行深度學(xué)習(xí)，如何設(shè)計(jì)新型的網(wǎng)絡(luò)架構(gòu)，如何將架構(gòu)應(yīng)用的3D場(chǎng)景理解。

作者主頁(yè)：https://stanford.edu/~rqi/
B站視頻：https://www.bilibili.com/s/video/BV1HE411g7tA
PPT下載鏈接:https://pan.baidu.com/s/105MRbBmCv4Tj6GYTMbS67w提取碼:z930
參考：https://www.cnblogs.com/Libo-Master/p/9759130.html

??該P(yáng)PT中涉及到的文獻(xiàn)有：

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
PointNet++： Deep Hierarchical Feature Learning on Point Sets in a Metric Space
Frustum PointNets：Frustum PointNets for 3D Object Detection from RGB-D Data

PiointNet++總結(jié)：

1、pointnet局部特征學(xué)習(xí)，平移和視角變換的不變性。
2、部分填充數(shù)據(jù)丟失的魯棒性。
3、采樣率變化的魯棒性。
4、外形相似的分類魯棒性。

FQA：
1、pointnet沒有考慮點(diǎn)與點(diǎn)之間的關(guān)系
2、關(guān)鍵點(diǎn)是可視化出來(lái)的
3、未來(lái)的主流是結(jié)合2D和3D，3D有精確的幾何信息，但是它的分辨率比較低，近期傳感器還不能跟上圖像的分辨率，圖像有很高的分辨率，還有精細(xì)的textures(紋理)
4、激光雷達(dá)采樣是近密遠(yuǎn)疏，pointnet++本身有些能夠處理采樣不均的問題，如果你知道點(diǎn)云的分布，你可以加一些位置，加一些權(quán)重，調(diào)節(jié)權(quán)重。
5、未來(lái)發(fā)展趨勢(shì)？point net++結(jié)果不太穩(wěn)定，怎么取的最佳結(jié)果？一定程度由modelnet的datasize限制的，建議對(duì)test shape多次旋轉(zhuǎn)取平均的結(jié)果。
6、pointnet++中的code中沒有用到T-Net，release code 中沒有用到T-Net,因?yàn)樗麄儼l(fā)現(xiàn)，在modelnet中T-Net對(duì)分類性能提升不大，pointnet++已經(jīng)學(xué)到了局部特征，所以它對(duì)旋轉(zhuǎn)不敏感。
7、pointnet++具有對(duì)局部幾何變換的不變性嗎？局部加一些T-Net結(jié)構(gòu)是不合理的，因?yàn)榫植孔儞Q了，并不能保證不同局部的變換是統(tǒng)一的，如果要實(shí)現(xiàn)統(tǒng)一性，實(shí)際上需要一些capsulenet 的work。
8、點(diǎn)云特征提取和2D的顏色信息有關(guān)嗎？在最簡(jiǎn)單的假設(shè)下可以是無(wú)關(guān)的，光是xyz的坐標(biāo)就已經(jīng)提高了幾何的信息，理論上不用其他的信息就已經(jīng)完成了很多的任務(wù)，RGB是錦上添花的特征。
9、為什么用1024維這么高的數(shù)據(jù)集？bottle net layer 這一維是很關(guān)鍵的，太小，會(huì)限制網(wǎng)絡(luò)的capability能力。
10、為什么采用FPS這種采樣方法？因?yàn)檫@種采樣方法是采盡可能遠(yuǎn)的點(diǎn)，最終實(shí)現(xiàn)的結(jié)果是對(duì)空間的比較均勻的降采樣，希望達(dá)到均勻采樣的結(jié)果，其他方法有很多，比如隨機(jī)采樣，但是效果可能沒有FPS方法好，最近也有這方面的許多工作，這里的研究空間比較大。
11、點(diǎn)云的表達(dá)會(huì)是3D未來(lái)的方向嗎？會(huì)是一個(gè)主要的方向，3D本身的應(yīng)用場(chǎng)景很多，不同的場(chǎng)景對(duì)不同的數(shù)據(jù)類型有不同的傾向，在3D的場(chǎng)景理解中點(diǎn)云是重要的形式，在其他中就不一定了，比如建模中、可視化中、仿真中可能會(huì)傾向于不同的數(shù)據(jù)類型。
12、如何看待GCN在點(diǎn)云中的應(yīng)用？GCN和pointnet++有很多相通的地方，兩者都是在3D中尋找局部，然后在局部定義某種操作，然后形成多級(jí)的網(wǎng)絡(luò)架構(gòu)，其實(shí)是非常相似的，甚至可以相互變換。point net++的優(yōu)點(diǎn)是，不僅限制在2D和3D，也適合3D，有的網(wǎng)絡(luò)結(jié)構(gòu)只能處理3D。

總結(jié)

以上是生活随笔為你收集整理的点云上的深度学习及其在三维场景理解中的应用（PPT内容整理PointNet）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。