三维点云语义分割基础知识
三維點云語義分割基礎知識
- 1. 簡介
- 1.1 點云分割介紹
- 1.2 三維數據表達方式
- 1.3 點云的特點及優勢
- 2 研究現狀
- 2.1 基于人工特征和機器學習的方法
- 2.2 基于深度學習的方法
1. 簡介
1.1 點云分割介紹
點云分割，即對點云中的每個點賦予有意義的標注，標注代表可以是任何具有特定意義的信息。在實際應用中，通常是一組代表幾種特定類別標簽的一個。如果標簽具有特定含義，如是一個場景的物體類別，那么這個過程就是一個場景的分割或稱語義理解。機器學習技術的進步也使得三維數據理解受益匪淺，尤其是對密集點云這樣的大量數據。
一些基于人工提取特征的經典機器學習方法，如支持向量機（SVM）和隨機森林（RF）， 也在一系列三維模型檢測與分割任務中取得了較為成功的結果[1-2]。近年來，從機器人導航到國家級遙感技術，對算法實時性和魯棒性的要求也越來越高。以自動 駕駛為例，若汽車采集的圖像以及點云數據需要等待漫長的手工提取特征，再進行場景分析，顯然是不可行的。于是，越來越多的研究開始轉向深度學習[3]。深度學習相比其他機器學習算法有著獨特的優勢。
（1）特征學習（Representation Learning）：原本需要人工提取的特征可作為訓練過程的一部分進行學習。
（2）端到端（End-to-End）：設備采集的原始輸入數據可以直接輸入到學習算法中，而后算法自動導出檢測或分類所需的輸出形式。
一般的語義分割需要兩部分：segmentation（更加依賴全局信息和局部信息），而classification（分類任務一般需要全局信息），一般的網絡結構是encoder-decoder的過程，即：提特征-特征映射-特征圖壓縮（降維）-全連接-分類，比如在二維的的pspnet，fcn等等, 可能還有CRF去調整。
三維點云語義分割任務是對每個點進行語義類別的預測，其常用的評價指標有整體精度 (Overall Accuracy, OA)、平均類別精度 (meanAccuracy, mAcc)、平均類別交并比 (mean Intersection over Union,mIoU)，其定義為：
其中，表示本屬于第 類的點被預測為第類的數目。語義分割的研究重心之一在于其局部特征的提取以及局部特征和全局特征的融合。在文獻 [46, 51, 52] 中，作者使用三維卷積構建三維全卷積網絡，其結構類似于二維語義分割，其中 [51, 52] 對三維卷積進行了稀疏優化。在文獻 [48] 中，作者提出使用池化進行全局特征的提取，并隨后在 [56] 中提出適用于點云數據的編碼-解碼結構。在文獻 [60, 61] 中，作者對點云進行分塊從而提取局部特征，并使用 RNN 進行局部特征的傳遞。文獻 [80, 82, 83] 借鑒圖卷積的思想實現局部點云特征的提取。
1.2 三維數據表達方式
目前用于深度學習的三維數據有如下幾種表達方式：
1）多視角（multi-view）：多角度的RGB圖像或者RGB-D圖像，通過多視角二維圖片組合為三維物體，此方法將傳統CNN應用于多張二維視角的圖片，特征被view pooling procedure聚合起來形成三維物體；
2）體素（volumetric）：通過將物體表現為空間中的體素進行類似于二維的三維卷積（例如，卷積核大小為5 x 5 x 5），是規律化的并且易于類比二維的，但同時因為多了一個維度出來，時間和空間復雜度都非常高，目前已經不是主流的方法了；
3）點云（point clouds）：由N個D維的點組成，當這個D=3的時候一般代表著(x,y,z)的坐標，當然也可以包括一些法向量、強度等別的特征。直接將三維點云拋入網絡進行訓練，數據量小。主要任務有分類、分割以及大場景下語義分割；
4） 非歐式（manifold graph）：在流形或圖的結構上進行卷積，三維點云可以表現為mesh結構，可以通過點對之間臨接關系表現為圖的結構。
三維點云的多種表示方法，也對應著不同的處理方法。比較容易的處理方式為將其投影為二維圖像或者轉換為三維體素 (Voxel)，從而將無序的空間點轉變為規則的數據排列；也可以使用原始點作為表示，不做任何變換，該方式的好處為最大可能保留所有原始信息。此外，點云作為空間無序點集，可以被看作普適意義上的圖數據；點云還有另外一種表示，稱作網格 (Mesh)，其也可以被看作是構建了局部連接關系的點，即為圖。將點云看作圖數據，可以使用圖領域新興的圖卷積 (Graph Convolution) 技術進行處理。需要提及的是，原始點的表示和圖表示之間并無明確界限（事實上原始點云和網格 (Mesh) 之間有一定區別，但若從語義理解方法的角度看，可暫時忽略此區別，將Mesh看作是增加了一種連接關系）。
1.3 點云的特點及優勢
三維空間中的點云存在下面三個主要的屬性：無序性、旋轉性、關聯性。
1.3.1點的無序性
點的無序性，也可以稱作點的置換不變性，那么什么是置換不變性呢，簡單地說就是點的排序不影響物體的性質。點云本質上是一長串點（nx3矩陣，其中n是點數）。在幾何上，點的順序不影響它在空間中對整體形狀的表示，例如，相同的點云可以由兩個完全不同的矩陣表示。當一個N×D在N的維度上隨意的打亂之后，其表述的其實是同一個物體。因此針對點云的置換不變性，其設計的網絡必須是一個對稱的函數，比如SUM和MAX函數。
下圖中x代表點云中某個點，h代表特征提取層，g叫做對稱方法，r代表更高維特征提取，最后接一個softmax分類。g可以是maxpooling或sumpooling，也就是說，最后的D維特征對每一維都選取N個點中對應的最大特征值或特征值總和，這樣就可以通過g來解決無序性問題。pointnet采用了max-pooling策略。
其他方法：
1）Sorting：將不同輸入按一定規則排列成統一的順序，但是實際上不存在這樣一個穩定的從高緯度到1維度的映射；
2）RNN：將輸入的點云當成是一個序列用來訓練循環神經網絡（RNN），通過改變順序來增加訓練數據，從而使得RNN的輸出結果對順序不變，數據的一些抖動也得到了增強；
3）symmetric function：一些對稱的函數方法，通過一個形式簡單的對稱函數聚合每個點的信息。
1.3.2 點的旋轉性
相同的點云在空間中經過一定的剛性變化（旋轉或平移），坐標發生變化。不論點云在怎樣的坐標系下呈現，網絡都能正確的識別出。這個問題可以通過STN（spacial transform netw）來解決。二維的變換方法可以參考此處,三維不太一樣的是點云是一個不規則的結構（無序，無網格），不需要重采樣的過程。pointnet通過學習一個矩陣來達到對目標最有效的變換。
對于普通的PointNet(vanilla)，如果先后輸入同一個但是經過不同旋轉角度的物體，它可能不能很好地將其識別出來。在論文中的方法是新引入了一個T-Net網絡去學習點云的旋轉，將物體校準，剩下來的PointNet(vanilla)只需要對校準后的物體進行分類或者分割即可。
由圖可以看出，由于點云的旋轉非常的簡單，只需要對一個N×D的點云矩陣乘以一個D×D的旋轉矩陣即可，因此對輸入點云學習一個3×3的矩陣，即可將其矯正；同樣的將點云映射到K維的冗余空間后，再對K維的點云特征做一次校對，只不過這次校對需要引入一個正則化懲罰項，希望其盡可能接近于一個正交矩陣。
正則化：
1.3.3 關聯性
點云中的每個點不是孤立的，點與點之間存在著關聯，相鄰的許多點可能組成一個具有重要意義的子集，它包含了點云的局部特征。因此希望模型能夠捕捉到點與點之間的關聯、點云的局部結構從而提取出點云的局部特征。點云的關聯性也正是現在各個頂會眾多論文的創新所在。
1.3.4 點云的優勢
點云由很多優勢，也越來越受到雷達自動駕駛的青睞。
1）點云更接近于設備的原始表征（即雷達掃描物體直接產生點云）
2）點云的表達方式更加簡單，一個物體僅用一個N×D的矩陣表示。
2 研究現狀
2.1 基于人工特征和機器學習的方法
在機器學習中，為了實現每個預測數據的自動標注，通常會選擇監督學習方法進行模型訓練。傳統的基于機器學習的點云分割方法，通常采用典型的監督學習算法包括支持向量機（SVM）、隨機森林（RF）和樸素貝葉斯。由于僅考慮點云中的單個點是不能獲得有意義的信息，因此這些方法還依賴于一系列稱為特征描述符（Signature）或描述子的人工特征。常見的點云的描述子可以大致分為統計特征和幾何特征。
（1）統計特征通常會選取固定鄰域內點云的數量、 密度、體積、標準差等，其中比較具有代表性的有：快速點特征直方圖（Fast Point Feature Histograms，FPFH）[4]、 方向直方圖（Signature of Histograms of OrienTations， SHOT）[5]等。
（2）幾何特征通常將局部領域內的點云描述為線、面或者幾何形狀，其中比較典型的有自旋圖像（Spin Image）[6]、局部表面切片（Local Surface Patches）[7]、固有形態（Intrinsic Shape）[8]等。
為了從大量點云中找到這些領域特征，通常需要一定的加速算法。此外，這些特征對點云密度具有一定的耦合性。雖然已經有一些方法在一定程度上解決了這些問題，并可以實現90%左右的分類精度。但是，這些方法都是在一定小范圍內進行測試和驗證，缺乏泛化和擴展能力，并且，這些方法對大范圍場景下出現物體被遮擋或者重疊通常表現不佳。最重要的，手工提取特征耗費的時間是實時性應用所不能接受的。
2.2 基于深度學習的方法
在PointNet出現以前，點云上的深度學習模型大致分為三類：
1）基于3DCNN的體素模型：先將點云映射到體素空間上，在通過3DCNN進行分類或者分割。但是缺點是計算量受限制，目前最好的設備也大致只能處理32×32×32的體素；另外由于體素網格的立方體性質，點云表面很多特征都沒有辦法被表述出來，因此模型效果差。
2）將點云映射到2D空間中利用CNN分類；
3）利用傳統的人工點云特征分類，例如：normal 法向量、intensity強度信息、local density 局部稠密度、local curvature 局部曲率等等；
基于深度學習的方法，本文從四種點云表示切入，介紹深度學習在三維點云上的應用，分別為：基于二維投影的方法、基于三維體素的方法、基于原始點的方法和基于圖的方法。
2.2.1 基于二維投影的方法
? CNN 最好的應用領域在于圖像處理，將三維點云數據投影到二維圖像平面，即可使得 CNN 應用于點云數據成為可能。
?在文獻 [31] 中，作者將原始的三維點云從不同視角進行投影，得到 12 個視角下的投影圖片，并使用 CNN 對不同視角的圖片分別提取特征，通過池化結合不同視角的信息，進行最終的點云物體分類。在文獻 [32, 33] 中，作者使用類似的思路對三維場景進行多視角投影，生成一系列 RGB 圖、深度圖及其他屬性圖片，并使用全卷積 (Fully Convolutional Networks, FCN)[34] 進行像素級語義分割，最終通過反向投影得到點云的語義分割結果。在文獻 [35] 中，作者將單幀 64 線激光雷達數據投影為鳥瞰圖和前視圖，并結合攝像頭采集的 RGB 圖，并列輸入進三個CNN，其中，鳥瞰圖和前視圖編碼了高度、密度、強度等一系列信息，三個網絡的特征相互融合得到物體的三維邊界框。在文獻 [36] 中，作者使用類似于 [31] 的思路，設置多個不同尺度的投影視角，并結合條件隨機場(Conditional Random Field,CRF)[37]，進行三維點云物體的部件分割。在文獻 [38] 中，作者對單幀 64 線激光雷達數據進行球面投影 (Spherical Projection)，得到對應的圖像，圖像的像素值編碼為 x 坐標、強度和深度三通道，使用運行效率較高的 SqueezeNet[39] 進行圖像的語義分割，使用 CRF 進行后處理優化，最終將分割結果投影至點云。在文獻 [40]中，作者將層次分組概念引入到多視角投影中，提出“視角-組別-形狀”由低到高的三個層次，實現更加具有可分度的特征學習。在文獻 [41] 中，作者沿著點云表面法線方向，將局部點云投影至切平面，對切平面上的投影圖像使用 FCN 進行語義分割。在文獻 [42] 中，作者使用類似于 [35] 的點云投影方法，進行三維目標的邊框預測。與 [35] 不同的是， [42] 未使用前視圖，并舍棄了鳥瞰圖中的強度信息。
2.2.2 基于三維體素的方法
三維點云進行二維投影降低了算法處理的難度，但是三維到二維的投影必然帶來幾何結構信息的損失，直接進行三維特征的提取在一些場景下是非常有必要的。一種最自然的想法便是 CNN 的延拓，將二維卷積神經網絡拓展一個維度，使其可以處理三維排列的數據；同時，對點云進行體素化 (Voxelization)，將其轉換為空間上規則排布的柵格，使得三維卷積神經網絡(Three Dimension Convolutional Neural Network, 3DCNN) 可以直接應用在這種表示上。
文獻 [43, 44] 是較早將 3DCNN 應用于三維點云處理的工作，他們將原始點云轉換為體素 (Voxel)，并使用 3DCNN 進行點云物體的特征提取。在文獻 [45] 中，作者深入探討了基于二維投影的方法和基于三維體素的方法的優劣，嘗試尋找這兩種方法精度差異的來源，并針對 3DCNN 提出兩種優化措施：使用完整物體的一部分進行輔助訓練以及使用各向異性的 3D卷積核。在文獻 [46] 中，作者使用三維卷積構建三維全卷積網絡，串聯以三線性插值和條件隨機場，實現室內、室外點云場景的語義分割。在文獻 [47] 中，作者提出體素特征編碼模塊，使用 PointNet[48]編碼同一體素內的特征，并使用 3DCNN 進行體素間的特征提取。
在文獻 [49, 50] 中，作者使用八叉樹數據結構對三維點云進行編碼，以降低3DCNN 的顯存占用與計算耗時，使得體素的分辨率可以進一步提高，從而可以學習到空間上更加精細的特征。在文獻 [51, 52] 中，作者提出類似的降低 3DCNN 顯存占用的方法，不過省略了使用八叉樹作為中間表示，直接通過哈希表構建了稀疏矩陣的索引關系。這類思路極大提高了 3DCNN 提取特征的能力。在文獻 [53]中，作者將稀疏編碼技術應用于點云的目標檢測，其整體框架類似于 [47]。由于稀疏編碼的優勢，使得該方法相比 [47] 取得了更好的效果。在文獻 [54] 中，作者將稀疏優化的卷積[51] 用作點云目標檢測的特征提取網絡，借鑒傳統兩階段目標檢測框架[55]，提升了三維目標檢測的性能。
2.2.3 基于原始點的方法
無論是二維投影還是三位體素，均需要對原始點云進行一定的轉換，而轉換必然帶來數據信息的損失。
在文獻 [48] 中，作者開創性地提出 PointNet，一個用于直接處理原始點云數據的神經網絡。該方法使用多層感知機進行逐點特征提取，使用池化進行全局特征提取，可用于三維點云的分類、部件分割、語義分割等多種任務，開辟了基于原始點方法的先河。但是 PointNet 沒有考慮點云的局部特征，該研究者在隨后發表的 [56] 中，對 PointNet 進行改進，通過設計點云數據的層次結構以及多尺度特征，實現局部特征與全局特征的融合。
點云局部特征的有效提取是點云理解中較為本質的問題之一。在文獻 [57] 中，作者根據點云局部坐標信息學習置換矩陣，對局部點云的特征進行變換和加權，試圖實現點云局部排序的一致性。在文獻 [58] 中，作者通過自組織映射從原始點云中計算得到自組織節點，并將近鄰點的特征匯聚至自組織節點處。在文獻 [59]中，作者將點云轉換到 Lattice 坐標系下，并定義了在該坐標系下的卷積操作。在文獻 [60] 中，作者沿三個坐標軸對點云進行空間分塊，使用三組循環神經網絡(RecurrentNeural Network, RNN) 進行塊與塊之間特征的傳遞，構建局部聯系。在文獻 [61] 中，作者使用金字塔池化方法和雙向 RNN 進行局部特征的傳遞。文獻[62] 借鑒 SIFT[63] 特征點的思路，將局部點云劃分為八個區域，解決僅根據離進行近鄰搜索所帶來的問題。類似的思路有 [64]，其提出一種逐點的 3D 卷積，對于每個點，將其局部鄰域按照卷積核的排列規則，劃分到不同的柵格中，并將 3D卷積核應用于該局部柵格。在文獻 [65] 中，作者通過公式推導提出一種高效的點云卷積，在不改變計算精度的情況下，大幅降低了模型顯存的需求。在文獻 [66]中，作者定義了一種新的點云卷積核函數，其不同于規則的固定柵格式卷積，而是通過插值計算每個點處的卷積參數，在使用上更加靈活。
基于原始點的方法從 2017 年開始興起，并已經取得了較大的進步，其在語義分割[56, 62]、目標檢測[67-69]、實例分割[70, 71]、點云匹配[72, 73] 等任務上應用并取得不錯的效果。
2.2.4 基于圖的方法
現實生活中存在大量的非結構化數據，如交通網絡、社交網絡等，這些數據的節點間存在聯系，可以表示為圖。研究圖數據的學習是近年來學界的熱點。三維點云數據可以看作圖數據的一種，圖網絡的很多思想可以被借鑒于點云數據的特征學習中。
圖卷積 (Graph Convolution Network, GCN) 可分為基于譜的圖卷積(Spectralbased GCN) 和基于空間的圖卷積 (Spatial-based GCN)?；谧V的圖卷積的基本思路是：依據卷積定理，首先根據圖的傅里葉變換將圖數據從空間域變換到譜域，并在譜域上進行卷積，隨后再通過圖的傅里葉反變換將卷積結果轉換到空間域。早期的圖卷積大多為基于譜的方法，在文獻 [74] 中，作者使用拉普拉斯矩陣 (Laplacian Matrix) 定義圖的傅里葉變換，并定義了圖數據上的卷積操作，構建了圖卷積網絡。
在文獻 [75] 中，作者對 [74] 的工作進行了改進，使用切比雪夫多項式代替先前工作中的傅里葉變換，避免了矩陣的特征值分解，同時使得圖卷積操作的感受野變為近鄰的 k 個節點 (K-localized)，參數復雜度大大降低。在文獻 [76]中，作者對 [75] 提出的多項式進行了進一步的簡化，僅保留 0 階項和 1 階項。從[74] 到 [75, 76] 的發展，也伴隨著圖卷積從基于譜的方法到基于空間的方法的轉變?？臻g方法的本質簡單可理解為在節點域定義節點間的權重，然后對鄰域進行加權求和。在文獻 [77] 中，作者提出使用注意力機制，定義節點之間的權重。在文獻 [78] 中，作者針對鄰域的采樣和特征匯聚的方式進行了探討，提出針對大規模圖數據的處理方法。
圖卷積的理論研究影響著三維點云的深度學習。在文獻 [79] 中，作者使用基于譜的圖卷積進行三維物體模型的語義分割，其提出譜變換網絡以實現更好的參數共享，同時引入了空洞卷積的概念，增加多尺度信息。在文獻 [80] 中，作者使用圖卷積進行點云局部特征的提取?；谧V的圖卷積由于需要計算特征分解，而不同點云數據的特征分解不相同，因此增加了基于譜的圖卷積在點云上應用的難度。近年來不少學者轉向使用基于空間的圖卷積。在文獻 [81] 中，作者結合邊信息進行圖卷積參數的學習。在文獻 [82] 中，作者使用將鄰接的邊特征送進多層感知機進行訓練。文獻 [83] 借鑒 [77] 的思想應用在點云的語義分割任務上。
參考文獻
注釋：參考文獻未按順序錄入，僅按原參考索引紀錄（懶）
[1] Shang L，Greenspan M.Real-time object recognition in sparse range images using error surface embedding[J]. International Journal of Computer Vision，2010，89（2/3）： 211-228.
[2] Guo Y，Sohel F，Mohammed B.Rotational projection statistics for 3D local surface description and object recognition[J].International Journal of Computer Vision， 2013，105（1）：63-86.
[3] Lecun Y，Bengio Y，Hinton G.Deep learning[J].Nature，2015，521：436.
[4] Rusu R B，Blodow N，Beetz M.Fast point feature histograms for 3D registration[C]//Proceedings of IEEE International Conference on Robotics and Automation，2009：1848-1853.
[5] Tombari F，Salti S，Stefano L D.Unique signatures of histograms for local surface description[C]//Proceedings of European Conference on Computer Vision，2010：356-369.
[6] Johnson A E，Hebert M.Using spin images for efficient object recognition in cluttered 3D scenes[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，1999，21（5）：433-449.
[7] Chen H，Bhanu B.3D free-form object recognition in range images using local surface patches[J].Pattern Recognition， 2007，28（10）：1252-1262.
[8] Zhong Y.Intrinsic shape signatures：A shape descriptor for 3D object recognition[C]//Proceedings of IEEE International Conference on Computer Vision，2009.
[26] RUSU R B, BLODOW N, BEETZ M. Fast point featurehistograms (FPFH) for 3D registration[C]//2009 IEEE International Conference onRobotics and Automation. Kobe, Japan: IEEE, 2009: 3212-3217.
[27] RUSU R B, BLODOW N, MARTON Z C, et al. Aligning pointcloud views using persistent feature histograms[C]//2008 IEEE/RSJ InternationalConference on Intelligent Robots and Systems. Nice, France: IEEE, 2008:3384-3391.
[28] OSADA R, FUNKHOUSER T, CHAZELLE B, et al. Shapedistributions[J]. ACM Transactions on Graphics (TOG), 2002, 21(4): 807-832.
[29] THOMAS H, DESCHAUD J E, MARCOTEGUI B, et al. SemanticClassification of 3D Point Clouds with Multiscale Spherical Neighborhoods[J].ArXiv preprint arXiv:1808.00495, 2018.
[30] LECUN Y, BENGIO Y, HINTON G. Deep learning[J]. Nature,2015, 521(7553): 436-444.
[31] SU H, MAJI S, KALOGERAKIS E, et al. Multi-viewconvolutional neural networks for 3d shape recognition[C]//Proceedings of theIEEE international conference on computer vision. Santiago, Chile: IEEE, 2015:945-953.
[32] BOULCH A, LE SAUX B, AUDEBERT N. Unstructured Point CloudSemantic Labeling Using Deep Segmentation Networks.[J]. 3DOR, 2017, 2: 7.
[33] LAWIN F J, DANELLJAN M, TOSTEBERG P, et al. Deepprojective 3D semantic segmentation[C]//International Conference on ComputerAnalysis of Images and Patterns. Ystad, Sweden: Springer, 2017: 95-107.
[34] LONG J, SHELHAMER E, DARRELL T. Fully convolutionalnetworks for semantic segmentation[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. Boston, MA, USA: IEEE, 2015:3431-3440.
[35] CHEN X, MA H, WAN J, et al. Multi-view 3d objectdetection network for autonomous driving[C]//Proceedings of the IEEEinternational conference on computer vision. Honolulu, HI, USA: IEEE, 2017:1907-1915.
[36] KALOGERAKIS E, AVERKIOU M, MAJI S, et al. 3D ShapeSegmentation With Projective Convolutional Networks[C]//The IEEE Conference onComputer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA: IEEE, 2017.
[37] LAFFERTY J, MCCALLUM A, PEREIRA F C. Conditional randomfields: Probabilistic models for segmenting and labeling sequence data[J].,2001.
[38] WU B, WAN A, YUE X, et al. Squeezeseg: Convolutionalneural nets with recurrent crf for real-time road-object segmentation from 3dlidar point cloud[C]//2018 IEEE International Conference on Robotics and Automation(ICRA). Brisbane, QLD, Australia: IEEE, 2018: 1887-1893.
[39] IANDOLA F N, HAN S, MOSKEWICZ M W, et al. SqueezeNet:AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J].ArXiv preprint arXiv:1602.07360, 2016.
[40] FENG Y, ZHANG Z, ZHAO X, et al. GVCNN: Group-viewconvolutional neural networks for 3D shape recognition[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT,USA: IEEE, 2018: 264-272.
[41] TATARCHENKO M, PARK J, KOLTUN V, et al. Tangentconvolutions for dense prediction in 3d[C]//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE,2018: 3887-3896.[42] KU J, MOZIFIAN M, LEE J, et al. Joint 3d proposalgeneration and object detection from view aggregation[C]//2018 IEEE/RSJInternational Conference on Intelligent Robots and Systems (IROS). Madrid,Spain: IEEE, 2018: 1-8.
[43] WU Z, SONG S, KHOSLA A, et al. 3d shapenets: A deeprepresentation for volumetric shapes[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. Boston, MA, USA: IEEE, 2015:1912-1920.
[44] MATURANA D, SCHERER S. Voxnet: A 3d convolutionalneural network for real-time object recognition[C]//2015 IEEE/RSJ InternationalConference on Intelligent Robots and Systems (IROS). Hamburg, Germany: IEEE,2015: 922-928.
[45] QI C R, SU H, NIE?NER M, et al. Volumetric andmulti-view cnns for object classification on 3d data[C]//Proceedings of theIEEE conference on computer vision and pattern recognition. Las Vegas, NV, USA:IEEE, 2016: 5648-5656.
[46] TCHAPMI L, CHOY C, ARMENI I, et al. Segcloud: Semanticsegmentation of 3d point clouds[C]//3D Vision (3DV), 2017 InternationalConference on. Qingdao, China: IEEE, 2017: 537-547.
[47] ZHOU Y, TUZEL O. Voxelnet: End-to-end learning forpoint cloud based 3d object detection[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018:4490-4499.
[48] QI C R, SU H, MO K, et al. Pointnet: Deep learning onpoint sets for 3d classification and segmentation[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE,2017: 652-660.
[49] RIEGLER G, ULUSOY A O, GEIGER A. Octnet: Learning deep3d representations at high resolutions[C]//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017:3577-3586.
[50] WANG P S, LIU Y, GUO Y X, et al. O-cnn: Octree-basedconvolutional neural networks for 3d shape analysis[J]. ACM Transactions onGraphics (TOG), 2017, 36(4): 72.
[51] GRAHAM B, ENGELCKE M, van der MAATEN L. 3d semanticsegmentation with submanifold sparse convolutional networks[C]//Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City,UT, USA: IEEE, 2018: 9224-9232.
[52] CHOY C, GWAK J, SAVARESE S. 4D Spatio-TemporalConvNets: Minkowski Convolutional Neural Networks[J]. ArXiv preprintarXiv:1904.08755, 2019.
[53] YAN Y, MAO Y, LI B. Second: Sparsely embeddedconvolutional detection[J]. Sensors, 2018, 18(10): 3337.
[54] SHI S, WANG Z, WANG X, et al. Part-A^ 2 Net: 3DPart-Aware and Aggregation Neural Network for Object Detection from PointCloud[J]. ArXiv preprint arXiv:1907.03670, 2019.
[55] REN S, HE K, GIRSHICK R, et al. Faster r-cnn: Towardsreal-time object detection with region proposal networks[C]//Advances in neuralinformation processing systems. Montreal, Quebec, Canada: MIT Press, 2015:91-99.
[56] QI C R, YI L, SU H, et al. Pointnet++: Deep hierarchicalfeature learning on point sets in a metric space[C]//Advances in NeuralInformation Processing Systems. Long Beach, CA, USA: MIT Press, 2017:5099-5108.
[57] LI Y, BU R, SUN M, et al. Pointcnn: Convolution onx-transformed points[C]// Advances in Neural Information Processing Systems.Montreal, Quebec, Canada: MIT Press, 2018: 820-830.
[58] LI J, CHEN B M, HEE LEE G. So-net: Self-organizingnetwork for point cloud analysis[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition. Salt Lake City, UT, USA: IEEE, 2018:9397-9406.
[59] SU H, JAMPANI V, SUN D, et al. Splatnet: Sparse latticenetworks for point cloud processing[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018:2530-2539.
[60] HUANG Q, WANG W, NEUMANN U. Recurrent Slice Networksfor 3D Segmentation of Point Clouds[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018:2626-2635.
[61] YE X, LI J, HUANG H, et al. 3d recurrent neuralnetworks with context fusion for point cloud semanticsegmentation[C]//Proceedings of the European Conference on Computer Vision(ECCV). Munich, Germany: Springer, 2018: 403-417.
[62] JIANG M, WU Y, ZHAO T, et al. Pointsift: A sift-likenetwork module for 3d point cloud semantic segmentation[J]. ArXiv preprintarXiv:1807.00652, 2018.
[63] LOWE D G. Distinctive image features fromscale-invariant keypoints[J]. International journal of computer vision, 2004,60(2): 91-110.
[64] HUA B S, TRAN M K, YEUNG S K. Pointwise convolutionalneural networks[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition. Salt Lake City, UT, USA: IEEE, 2018: 984-993.
[65] WU W, QI Z, FUXIN L. Pointconv: Deep convolutionalnetworks on 3d point clouds[C]//Proceedings of the IEEE Conference on ComputerVision and Pattern Recognition. Long Beach, CA, USA: IEEE, 2019: 9621-9630.
[66] THOMAS H, QI C R, DESCHAUD J E, et al. KPConv: Flexibleand Deformable Convolution for Point Clouds[J]. ArXiv preprintarXiv:1904.08889, 2019.
[67] QI C R, LIU W, WU C, et al. Frustum pointnets for 3dobject detection from rgb-d data[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE, 2018:918-927.
[68] SHI S, WANG X, LI H. Pointrcnn: 3d object proposalgeneration and detection from point cloud[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. Long Beach, CA, USA:IEEE, 2019: 770-779.
[69] QI C R, LITANY O, HE K, et al. Deep Hough Voting for 3DObject Detection in Point Clouds[J]. ArXiv preprint arXiv:1904.09664, 2019.
[70] WANG W, YU R, HUANG Q, et al. Sgpn: Similarity groupproposal network for 3d point cloud instance segmentation[C]//Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City,UT, USA: IEEE, 2018: 2569-2578.
[71] YI L, ZHAO W, WANG H, et al. GSPN: Generative ShapeProposal Network for 3D Instance Segmentation in Point Cloud[J]. ArXiv preprintarXiv:1812.03320, 2018.
[72] AOKI Y, GOFORTH H, SRIVATSAN R A, et al. PointNetLK:Robust & efficient point cloud registration using PointNet[C]//Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach,CA, USA: IEEE, 2019: 7163-7172.
[73] WANG Y, SOLOMON J M. Deep Closest Point: LearningRepresentations for Point Cloud Registration[J]. ArXiv preprintarXiv:1905.03304, 2019.
[74] BRUNA J, ZAREMBA W, SZLAM A, et al. Spectral networksand locally connected networks on graphs[J]. ArXiv preprint arXiv:1312.6203,2013.
[75] DEFFERRARD M, BRESSON X, VANDERGHEYNST P. Convolutionalneural networks on graphs with fast localized spectral filtering[C]//Advancesin neural information processing systems. Barcelona, Spain: MIT Press, 2016:3844-3852.
[76] KIPF T N, WELLING M. Semi-supervised classificationwith graph convolutional networks[J]. ArXiv preprint arXiv:1609.02907, 2016.
[77] VELI?KOVI? P, CUCURULL G, CASANOVA A, et al. Graphattention networks[J]. ArXiv preprint arXiv:1710.10903, 2017.
[78] HAMILTON W, YING Z, LESKOVEC J. Inductiverepresentation learning on large graphs[C]//Advances in Neural InformationProcessing Systems. Long Beach, CA, USA: MIT Press, 2017: 1024-1034.
[79] YI L, SU H, GUO X, et al. Syncspeccnn: Synchronizedspectral cnn for 3d shape segmentation[C]//Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017:2282-2290.
[80] WANG C, SAMARI B, SIDDIQI K. Local spectral graphconvolution for point set feature learning[C]//Proceedings of the EuropeanConference on Computer Vision (ECCV). Munich, Germany: Springer, 2018: 52-66.
[81] SIMONOVSKY M, KOMODAKIS N. Dynamic edgeconditionedfilters in convolutional neural networks on graphs[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE,2017: 3693-3702.
[82] WANG Y, SUN Y, LIU Z, et al. Dynamic graph CNN forlearning on point clouds[J]. ArXiv preprint arXiv:1801.07829, 2018.
[83] WANG L, HUANG Y, HOU Y, et al. Graph AttentionConvolution for Point Cloud Semantic Segmentation[C]//Proceedings of the IEEEConference on Computer Vision and Pattern Recognition. Long Beach, CA, USA:IEEE, 2019: 10296-10305.
[84] HOU J, DAI A, NIE?NER M. 3D-SIS: 3D Semantic InstanceSegmentation of RGB-D Scans[J]. ArXiv preprint arXiv:1812.07003, 2018.
[85] ARMENI I, SENER O, ZAMIR A R, et al. 3d semanticparsing of large-scale indoor spaces[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016:1534-1543.
總結
以上是生活随笔為你收集整理的三维点云语义分割基础知识的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Aspen中物性方法选择
- 下一篇： 【微信小程序】微信支付