今天剛剛得到消息，之前投給IROS 2017的文章收錄了。很久很久沒有寫過博客，今天正好借這個機會來談?wù)匋c云卷積網(wǎng)絡(luò)的一些細節(jié)。

?

1、點云與三維表達

三維數(shù)據(jù)后者說空間數(shù)據(jù)有很多種表達方式，比如：RGB-D 圖像，體素圖像，三維點云等。這些三維數(shù)據(jù)的表達方式各有特點：RGB-D 圖像可以直接從Kinect 讀到，而且是規(guī)整的，適合直接用于現(xiàn)存的圖像處理框架。體素圖像更直觀的展示物體的三維形貌，更直接的表達物體表面空間位置關(guān)系，同時，很容易將圖像中成功的方法推廣到體素圖像中。而三維點云的表達更加緊湊，同樣分辨考慮情況下，三維點云的表達占更小的空間（三維點云可以認為是體素圖像的緊湊編碼，即記錄體素圖像中 occupied voxel 的坐標）。同時，LiDAR 點云轉(zhuǎn)RGB - D 會有很多空洞。所以，我們致力于設(shè)計一種通用的方法，利用點云來分析物體表面所傳達的信息。

2、點云卷積

卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中具有代表性的一種模型，很成功的解決了圖像分割，識別，檢測，分析，caption,questioning等不同層次的問題。根據(jù)我們的理解，卷積網(wǎng)絡(luò)的成功之處在于巨大的容量，可以容納更多信息，在流形中容易形成更好的連續(xù)性；從局部到整體層級式的映射，卷積核經(jīng)過多層映射后有巨大的接受域，模型既含有局部信息又含有物體的整體信息；去中心化的結(jié)構(gòu)，卷積過程中對所有的像素都沒有主觀偏好性。最讓我們感興趣的，是卷積這種操作通過綜合周邊信息和非線性映射來優(yōu)化局部的表達，又通過局部表達的綜合來給出整體描述。同時，和卷積配合的池化操作可以給模型帶來微小的局部不變性。這些優(yōu)良的性質(zhì)啟發(fā)了我們將卷積這種操作用在三維數(shù)據(jù)上。

?

最容易實現(xiàn)的三維卷積網(wǎng)絡(luò)是在體素圖像上進行三維卷積操作。但體素圖像往往都有其缺點：1、所謂三維往往是2.5維，物體的自遮擋是無法忽略的，2、三維卷積操作需要多搜索一個維度，3*3*3的三維卷積核計算量近大于在圖像上進行5*5卷積核的操作。同時，100*100*100的三維體素圖像尺寸上相當于1000*1000的二維圖像，所以三維卷積是比較昂貴的操作。3、三維體素圖像（binary, VoxNet）含有大量的空白，也就是0，物體自遮擋，內(nèi)部信息都是無法訪問的。所以大量的卷積操作都不是很劃算。所以我們考慮將卷積這種操作移植到點云上。

?

點云本身具有無序性。也就是對點云進行隨意排序它對物體的表達都是一致的。對無序序列進行訓(xùn)練本身似乎聽起來是一件不太可能的事情。當前階段的分類網(wǎng)絡(luò)都是以泛化（generalization）為主，訓(xùn)練樣本如果是無序的，那么同一件東西則有完全 非近似 的表達，遑論統(tǒng)一。所以，IROS的工作介紹了如何在點云上建立順序、卷積操作、以及最后形成網(wǎng)絡(luò)的方法。

?

轉(zhuǎn)載于:https://www.cnblogs.com/ironstark/p/7016699.html

總結(jié)

以上是生活随笔為你收集整理的3D Object Classification With Point Convolution —— 点云卷积网络的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。